为什么要做日志分析平台，随着业务量的增大，单个日志文件的大小达到几个GB，这时候，我们发现用系统自带的工具，cat/grep/awk/tail越来越显得力不从心，除了操作系统日志，还有应用系统的日志，分布在各个服务器上，日志分析工作异常繁琐，开发人员想获取日志信息也异常麻烦。所以为了解决现状，接下来我们将构建这个日志分析平台。
1. 架构图
2.架构图分析
- 将filebeat部署到需要采集日志的服务器上，filebeat将采集到的日志数据传输到kafka中。
- kafka将获取到的日志信息存储起来，并且作为输入(input)传输给logstash。
- logstash将kafka中的数据作为输入，并且把kafka中的数据进行过滤等其他操作，然后把操作后得到的数据输入(output)到es(elasticsearch)中。
- es(基于lucene搜索引擎)对logstash中的数据进行处理，并且将数据作为输入传送给kibana进行显示。
注:上图使用了kafka，es集群架构图，我本次实验并不使用集群。旨在疏通整个流程，并实现可用。对于做大数据采集分析的一般会使用这种集群架构。提高公司内部的日志分析及排错效率，非集群架构也足够。
3.部署该平台需要的环境以及软件，软件及版本如下
172.17.217.131 filebeat 1Core 1GB
172.17.217.130 kafka logstash 1Core 2GB
172.17.217.129 elasticsearch kibana 2Core 8GB
4.安装以及配置各软件
1.安装filebeat
[root@web-server softwares]# tar -xf filebeat-6.1.3-linux-x86_64.tar.gz
[root@web-server softwares]# mv filebeat-6.1.3-linux-x86_64 /usr/local/filebeat6.1
[root@web-server filebeat6.1]# pwd
/usr/local/filebeat6.1
[root@web-server filebeat6.1]# cp filebeat.yml filebeat.yml.bak
[root@web-server filebeat6.1]# > filebeat.yml #清空文件
#修改filebeat.yml文件
[root@web-server filebeat6.1]# cat filebeat.yml
filebeat.prospectors:
- type: log
#设置为true使该配置生效
enabled: true
paths:
#收集日志路径，多个的话继续往下写即可
- /var/log/messages
fileds:
#自定义属性，用来区分不同服务器上的日志
log_source: 172.17.217.131-system
- type: log
enabled: true
paths:
- /var/log/nginx/accesss.log
fields:
log_source: 172.17.217.131-nginx
#下面三个属性配置根据[ 将Java异常堆栈收集为一条消息，也可以在logstash中配置
multiline.pattern: '^\['
multiline.negate: true
multiline.match: after
#该属性可以配置只收集error级别和warn级别的日志，如果与配置多行收集，一定要将这个配置放在多行的后面
include_lines: ['ERROR','WARN']
#该属性配置不收集DEBUG级别的日志，如果配置多行，这个配置也要放在多行的后面
exclude_lines: ['DEBUG']
output.logstash:
#如果是多个logstash，将下面的三条属性打开
#hosts: ["localhost:5044","localhost:5045"]
#loadbalance: true
#worker: 3
hosts: ["172.17.217.130:5044"]
#这个index的值也可以自定义，用来修改@metadata[beat]值，默认是filebeat
index: "filebeat"
配置解释：
type: log 读取日志文件的每一行（默认）
enabled: true 该配置是否生效,如果改为false,将不收集该配置的日志
paths: 要抓取日志的全路径
fields: 自定义属性,可以定义多个,继续往下排就行
multiline.pattern: 正则表达式
multiline.negate: true 或 false；默认是false，匹配pattern的行合并到上一行；true，不匹配pattern的行合并到上一行
multiline.match: after 或 before，合并到上一行的末尾或开头
include_lines: ['ERROR','WARN'] 该属性可以配置只收集error级别和warn级别的日志,如果有配置多行收集,一定要将这个配置放在多行的后面
exclude_lines: ['DEBUG'] 该属性配置不收集DEBUG级别的日志,如果配置多行 这个配置也要放在多行的后面
hosts: Logstash所在的主机
loadbalance: 如果设置为TRUE和配置了多台logstash主机，输出插件将负载均衡的发布事件到所有logstash主机。如果设置为false，输出插件发送所有事件到随机的一台主机上，如果选择的不可达将切换到另一台主机。默认是false。
worker: 每个配置的主机发布事件到Logstash的工作者数量。这最适用于启用负载平衡模式。示例：如果您有2个主机和3个工作人员，则共有6个工作人员启动（每个主机3个）。
2.安装logstash
[root@git softwares]# tar -xf logstash-6.2.3.tar.gz
[root@git softwares]# mv logstash-6.2.3 /usr/local/logstash6.2.3
[root@git softwares]# cd /usr/local/logstash6.2.3/
#创建logstash.conf文件并编辑
[root@git logstash6.2.3]# cat logstash.conf
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["http://172.17.217.129:9200"]
index => "%{[fields][log_source]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
3.安装elasticsearch
[root@jenkins softwares]# tar -xf elasticsearch-6.1.3.tar.gz
[root@jenkins softwares]# mv elasticsearch-6.1.3 /usr/local/elasticsearch6.1.3
[root@jenkins softwares]# cd /usr/local/elasticsearch6.1.3/
[root@jenkins elasticsearch6.1.3]# cd config/
[root@jenkins config]# ls
elasticsearch.yml jvm.options log4j2.properties
[root@jenkins config]# cp elasticsearch.yml elasticsearch.yml.bak
[root@jenkins config]# vim elasticsearch.yml
修改IP和端口即可
[root@jenkins config]# useradd elastic
[root@jenkins config]# chown -R elastic /usr/local/elasticsearch6.1.3/
[root@jenkins config]# su - elastic
[elastic@jenkins ~]$ pwd
/home/elastic
[elastic@jenkins ~]$ cd /usr/local/elasticsearch6.1.3/
[elastic@jenkins elasticsearch6.1.3]$ ls
bin config lib LICENSE.txt modules NOTICE.txt plugins README.textile
[elastic@jenkins elasticsearch6.1.3]$ ./bin/elasticsearch
