Elasticsearch-Logstash-Kibana（一）环境搭建
Elasticsearch-Logstash-Kibana（二）数据可视化
Elasticsearch-Logstash-Kibana（三）配置优化
优化配置
字段格式化
下面是一段nginx日志,里面有一个字段，bytes 传输的字节
124.126.207.105 - 127.0.0.1:31002 - - [22/Nov/2017:16:56:31 +0800] "POST /weChatShare/share HTTP/1.0" 200 289 "http://wechat.xxx.com/buy/drug?categoryId=27" "Mozilla/5.0 (iPhone; CPU iPhone OS 11_1 like Mac OS X) AppleWebKit/604.3.5 (KHTML, like Gecko) Mobile/15B93 MicroMessenger/6.5.19 NetType/WIFI Language/zh_CN" 0.004
- - 127.0.0.1:30002 - - [22/Nov/2017:16:56:31 +0800] "HEAD / HTTP/1.0" 200 0 "-" "-" 0.019
1.主要步骤
- 进入Settings 选项卡
- 在左侧，选择你要格式化的字段所在的索引
- 然后右侧出来的字段列表，选择你想要的字段进行转换，在最后有一个编辑。这里选择bytes字段
- 在Format里选择你要格式化的格式，这里选择Bytes，最后点击Update Field即可。
2.示例
编辑该字段
](http://7xp3xc.com1.z0.glb.clouddn.com/2016/1511488615345.png)
编辑字段
选择 Bytes，然后 Update Field
选择
验证
验证
grok 日志过滤
在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。
本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。
1、nginx日志
nginx 日志格式如下：
log_format main '$http_x_forwarded_for - $upstream_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $request_time';
对应日志如下：
124.126.207.105 - 127.0.0.1:31002 - - [22/Nov/2017:16:56:31 +0800] "POST /weChatShare/share HTTP/1.0" 200 289 "http://wechat.xxx.com/buy/drug?categoryId=27" "Mozilla/5.0 (iPhone; CPU iPhone OS 11_1 like Mac OS X) AppleWebKit/604.3.5 (KHTML, like Gecko) Mobile/15B93 MicroMessenger/6.5.19 NetType/WIFI Language/zh_CN" 0.004
- - 127.0.0.1:30002 - - [22/Nov/2017:16:56:31 +0800] "HEAD / HTTP/1.0" 200 0 "-" "-" 0.019
2、编写正则表达式
logstash中默认存在一部分正则让我们来使用，可以访问Grok Debugger来查看。
基本定义在grok-patterns中，我们可以使用其中的正则，当然并不是所有的都适合nginx字段，这时就需要我们自定义正则，然后通过指定patterns_dir来调用。
同时在写正则的时候可以使用Grok Debugger或者Grok Comstructor工具来帮助我们更快的调试。在不知道如何使用logstash中的正则的时候也可使用Grok Debugger的Descover来自动匹配。
logstash自带的grok正则中有nginx的标准日志格式：
NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} %{NGUSER:ident} %{NGUSER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response} (?:%{NUMBER:bytes}|-) (?:"(?:%{URI:referrer}|-)"|%{QS:referrer}) %{QS:agent} %{QS:xforwardedfor} %{IPORHOST:host} %{BASE10NUM:request_duration}
我们可以参考这个正则来自定义自己的日志
NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
UPSTREAM_ADDR (%{IPV4}:%{POSINT}[, ]{0,2})+
NGINXACCESS %{IPV4:http_x_forwarded_for} - %{UPSTREAM_ADDR} \- \- \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NUMBER:duration}
其中 UPSTREAM_ADDR 是自定义的正则。
启动logstash，然后就可以查看日志是否写入elasticsearch中。
暂时想到这些，以后再慢慢补充吧。
