› NGINX
› NGINX Trac
› 3rd Party Modules
› Security Advisories
› CHANGES
› OpenResty
› ngx_lua
› Tengine
在线学习资源
› NGINX 开发从入门到精通
NGINX Modules
› ngx_echo
artandlol
V2EX  ›  NGINX

nginx 日志反导到数据库

  •  
  •   artandlol · Jun 20, 2017 · 4575 views
    This topic created in 3428 days ago, the information mentioned may be changed or developed.

    nginx 日志反导到数据库,有比较好的方案吗? 最近有这个需求,一直没有比较好的方案。

    16 replies  •  2017-06-21 13:05:37 +08:00
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Jun 20, 2017
    1
    自己写个 parser 把你需要的 column 解出来写到数据库里去
    或者找个开源的 parser
    koon_kai
    koon_kai
    Jun 20, 2017
    2
    用 elk?
    artandlol
    artandlol
    OP
    Jun 20, 2017
    3
    @liprais 数据量大,估计处理不了
    @koon_kai elk 估计要用到中间键,搞到数据库这个过程不是很明朗
    dallaslu
    dallaslu
    Jun 20, 2017
    4
    @artandlol 先用流式处理或者集群方式,把原始日志加工一下;然后一次性 load 进库
    prasanta
    prasanta
    Jun 20, 2017 via Android
    5
    elk 就 elk,别纠结了
    misaka19000
    misaka19000
    Jun 20, 2017 via Android
    7
    写个脚本定时导入感觉很好了
    hustlike
    hustlike
    Jun 20, 2017
    8
    用 ELK 就不用放到数据库去了……直接存 ELK 里面。你估计只需要一个 ElasticSearch 就够了。
    Cooky
    Cooky
    Jun 20, 2017 via Android
    9
    rsyslog
    yghack
    yghack
    Jun 20, 2017
    10
    ELK
    数据量很大?不需要中间件,直接 filebeat
    ohhe
    ohhe
    Jun 20, 2017
    11
    fluentd
    zhengwenk
    zhengwenk
    Jun 20, 2017
    12
    elk 还有什么不明朗的
    ohblue
    ohblue
    Jun 20, 2017
    13
    filebeat
    willis
    willis
    Jun 21, 2017
    14
    nginx 日志自定义为 json ,然后 elk
    MajorAdam
    MajorAdam
    Jun 21, 2017
    15
    elk
    sparkssssssss
    sparkssssssss
    Jun 21, 2017 via iPhone
    16
    rsyslog 实时传到 es 即可
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1451 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 11:26 · PVG 19:26 · LAX 03:26 · JFK 06:26
    ♥ Do have faith in what you're doing.