ELK日志分析系统就是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,可以把部署在不同机房应用的日志统一采集、分析、输出
Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。
下载地址:https://www.elastic.co/cn/downloads?elektra=home&&storm=banner
Elasticsearch配置与启动
Elasticsearch配置文件在config目录下的elasticsearch.yml:
./elasticsearch
验证:浏览器输入ip:端口会有如下响应:
{
"name" : "WTCCN-FS-OMSAPP2",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "bDciI1eSRRevTZfmjB8KIg",
"version" : {
"number" : "7.5.1",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "3ae9ac9a93c95bd0cdc054951cf95d88e1e18d96",
"build_date" : "2019-12-16T22:57:37.835892Z",
"build_snapshot" : false,
"lucene_version" : "8.3.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
Kibana配置与启动
Kibana配置文件在config目录下的kibana.yml:
./kibana
浏览器输入访问地址: http://localhost:5601
Logstash配置与启动
Logstash配置文件在config目录下的logstash-sample.conf:
①指定文件位置
到bin目录下启动logstash,启动命令:
./logstash -f /app/logstash-7.5.1/config/logstash-sample.conf
②用filebeat搜集
filebeat配置与启动
配置filebeat配置文件:filebeat.yml重启logstash,启动filebeat,启动命令:
./filebeat -e ./filebeat.yml
在kibana搜索关键字,一样可以搜到日志: