ELK 官方网站：https://www.elastic.co/products
相关概念：
Elasticsearch ：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。
Logstash ：数据收集处理引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储以供后续使用。
Kibana ：可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。
- 项目中log4j2配置文件
<?xml version="1.0" encoding="UTF-8"?> <configuration status="WARN" monitorInterval="30"> <Properties> <Property name="LOG_HOME">logs</Property> </Properties> <appenders> <Console name="CONSOLE_OUT" target="SYSTEM_OUT"> <ThresholdFilter level="DEBUG" onMatch="ACCEPT" onMismatch="DENY" /> <PatternLayout charset="utf-8" pattern="[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%pid] [%thread] %-5level %logger{36}.%M - %msg%n"/> </Console> <Console name="CONSOLE_ERROR" target="SYSTEM_ERR"> <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY" /> <PatternLayout charset="utf-8" pattern="[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%pid] [%thread] %-5level %logger{36}.%M - %msg%n" /> </Console> <Socket name="logStash" host="localhost" port="4567" protocol="TCP"> <PatternLayout charset="utf-8"> <pattern>[%d{yyyy-MM-dd HH:mm:ss.SSS}] %-5level %logger{36}.%M - %msg%n</pattern> </PatternLayout> </Socket> </appenders> <loggers> <root level="INFO"> <appender-ref ref="CONSOLE_OUT"/> <appender-ref ref="CONSOLE_ERROR"/> <appender-ref ref="logStash"/> </root> </loggers> </configuration> - 搭建ElasticSearch
- 解压
- 修改配置文件 config/elasticsearch.yml
cluster.name=es_cluster node.name=node0 path.data=/tmp/elasticsearch/data path.logs=/tmp/elasticsearch/logs network.host=localhost network.port=9200- 运行： 点击elasticsearch.bat
- 浏览器打开localhost:9200，看到有配置相关的信息就表示安装成功
- 搭建Logstash
- 解压
- 添加配置文件 config/test.conf
input { tcp { host => "localhost" port => "4567" # 与springBoot中的log4j的配置端口一致 } } output { stdout { codec => rubydebug } elasticsearch { hosts => ["127.0.0.1:9200"] index => "analysis" } }- 安装plugins-inputs-tcp，默认识别log4j，为了识别log4j2，必须要安装插件
bin/logstash-plugin list --verbose // 先查看是否安装过 ./bin/logstash-plugin install logstash-input-tcp // 安装命令- 启动SpringBoot应用程序
- 运行：
./bin/logstash -f ./config/test.conf - 浏览器打开
localhost:9200/analysis/_search
Logstash补充：
Input：输入，输入数据可以是 File 、 Stdin（直接从控制台输入） 、TCP、Syslog 、Redis 、Collectd 等。
Filter：过滤，将日志输出成我们想要的格式。Logstash 存在丰富的过滤插件：Grok 正则捕获、时间处理、JSON 编解码、数据修改 Mutate 。
Output：输出，输出目标可以是 Stdout （直接从控制台输出）、Elasticsearch 、Redis 、TCP 、File 等。
- 搭建Kibana
- 解压
- 修改配置文件 config/kibana.yml
server.port: 5601
server.host: "127.0.0.1"
elasticsearch.hosts: ["http://localhost:9200"]
- 运行：
./bin/logstash -f ./config/test.conf - 浏览器打开
localhost:5601 - 新建索引 analysis (索引名不能有大写和特殊字符)
- 根据索引筛选日志内容
补充：
当遇到 Logstash 接收数据的能力超过 Elasticsearch 集群处理能力的时候，就可以通过队列就能起到削峰填谷的作用， Elasticsearch 集群就不存在丢失数据的问题。使用比较多的两种消息队列为Kafka和Redis。主要从下面两个方面考虑:
- 数据丢失：Redis 队列多用于实时性较高的消息推送，并不保证可靠。Kafka保证可靠但有点延时
- 数据堆积：Redis 队列容量取决于机器内存大小，如果超过设置的Max memory，数据就会抛弃。Kafka 的堆积能力取决于机器硬盘大小。
EFK
- Filebeat ：轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。用 Golang 编写，无需依赖 Java 环境，效率高，占用内存和 CPU 比较少，非常适合作为 Agent 跑在服务器上。
如果日志的量很大，Logstash 会遇到资源占用高的问题，为解决这个问题就可以引入了Filebeat。
Filebeat的基本用法。编写配置文件，从 Nginx access.log 中解析日志数据:
# filebeat.yml
filebeat.prospectors:
- input_type: log
paths: /var/log/nginx/access.log
json.message_key:
output.elasticsearch:
hosts: ["localhost"]
index: "filebeat-nginx-%{+yyyy.MM.dd}"
通过应用实践发现，Filebeat 所消耗的CPU只有 Logstash 的70%，但收集速度为 Logstash 的7倍。从我们的应用实践来看，Filebeat 确实用较低的成本和稳定的服务质量，解决了 Logstash 的资源消耗问题。
