ELK的部署效果要达到同时收集多台服务器的日志文件中的日志,并按照类别或者项目,在页面上展示,在一个页面上能看到多台机器的日志同时展现,就像看一台机器一样。下面我们使用ELK的经典组合版本 Elasticsearch2.4.6版本+Logstash2.4.1版本+Kibana4.6.6版本来演示ELK的搭建。
部署的时候版本不是越高越好,主要看Elasticsearch中lucene的版本,一定要是5+以上的版本,因为5以下的版本bug比较多,5+以后的版本问题就不大了,再往后主要是优化居多,包括后面的6版本和7版本,版本变化都不是很大,不过后面的版本数据实时性会高一些,如果对日志数据的实时性要求很高,可以考虑使用高版本。
部署两个应用
首先找两个服务器部署两个应用。我们在 192.168.65.130 和 192.168.65.140 上面,分别占用80端口,部署两个应用,效果如下:
同时给两个应用都加上每秒执行的定时任务:
同时生成的日志文件都放到 /app路径下面,文件名为 spring-boot-web.log,
这样两个项目就部署好了。
部署Elasticsearch
下载页面:
https://www.elastic.co/cn/downloads/past-releases#elasticsearch
版本:
2.4.6
部署机器ip:
192.168.65.141
es不可以用root账户启动,多以新建一个用户es:
groupadd es
useradd -g es es
su es
切换到es用户后,解压elasticsearch:
然后进入config目录,修改配置文件 elasticsearch.yml,修改前注意备份,然后修改文件,主要的修改内容如下:
cluster.name: my.elk #集群名称,如果有多个集群,那么每个集群名就得是唯一的
node.name: node-192.168.65.141 #节点名称
node.master: true #该节点是否是master,true表示是的,false表示否,默认是true
node.data: true #该节点是否存储数据,默认true表示是的
http.port: 9200 #http访问端口,默认是9200,通过这个端口,调用方可以索引查询请求
transport.tcp.port: 9300 #节点之间通信的端口,默认为9300
network.host: 0.0.0.0 #访问地址 配置外网访问
#discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:8300"] #如果是集群,就把所有的 全部写进来
#node.max_local_storage_nodes: 2 #设置一台机子能运行的节点数目,一般采用默认的1即可,因为我们一般也只在一台机子上部署一个节点
2版本的elasticsearch配置非常简单,只需要上面几个配置就可以了。es本身的配置只和自己有关,没有关于其它组件的配置。下一步就是启动,去es根目录下面,运行:
./bin/elasticsearch
或者使用后台运行:
nohup ./bin/elasticsearch &
然后访问es:
可以看到启动没有问题,访问页面显示了es的主要信息,包括节点相关信息以及lucene相关信息。es安装完成!
es安装完成后,一般都会安装一个非常经典的插件,就是head插件,2版本的es这个插件是非常好安装的,进入es的根目录,执行下面的命令:
./bin/plugin install mobz/elasticsearch-head
装完后,根目录会有个plugins/head目录,表示装好了,然后访问head页面,在9200后面加上 /_plugin/head,可以看到效果:
这样页面就比单纯的看数据信息友好多了。
部署Logstash
下载页面:
版本:
2.4.1
部署位置在两台应用服务器上。解压Logstash,进入根目录,手动新建一个配置文件:
配置文件需要配置的内容是,让Logstash收集本地的log文件中的日志,然后远程传输到es搜索引擎中去,所以有个写入模块(input),有个输出模块(output),整体文件结构如下:
先来看一下input的配置:
因为要从文件中读取日志,所以使用了file的配置,type可以随便起名字,最好定义为项目名加上服务器ip,这样在页面中有标识,其它配置可以参考注释。
再来看一下output配置:
根据类型操作日志,hosts表示写到的es的链接,index表示按日志天索引,因为一般日志会保留7到30天左右,所以按天比较合适。上面的配置就是Logstash中最简单的传输配置。下面进入Logstash的根目录,启动:
./bin/logstash -f ./config/log.conf
或者后台启动:
nohup ./bin/logstash -f ./config/log.conf &
注意:如果一个Logstash读取了多个日志文件,多个读取的配置都在一个目录下面,可以直接指定配置目录:
./bin/logstash -f ./confg
上面是140机器的Logstash的配置,再来看一下130的:
除了type不一样,其它基本相同,最重要的是,写到es的时候,索引是一样的,这样同一个项目使用相同的索引,可以保证所有分布在不同机器上的同一个项目的日志写到同一个es索引当中,这是最重要的配置。我们来看一下es的效果:
我们看到log-日志格式的索引立刻有了数据,而且随着不断的刷新,数据在增加,因为我们在项目中加了定时任务,所以在不断写日志。而且每个项目每天都会建立一个新的索引。
部署Kibana
下载页面:
版本:
4.6.6
部署ip:
192.168.65.142
我已经完成了把项目日志从应用服务器传输到es搜索引擎当中,并且安装每个项目每天进行索引,那么下一步就是配置查询了。Kibana下载后,解压,然后进入根目录,修改kibana的配置文件:
vim config/kibana.yml
主要修改的内容如下:
elasticsearch.url: "http://192.168.65.141:9200" #配置es地址
修改一个就可以了,然后启动kibana,在根目录执行:
./bin/kibana
或者后台启动:
nohup ./bin/kibana &
kibana默认端口为5601,我们可以访问kibana:
kibana也启动成功了!可以看到直接跳转到了索引配置页面:
因为我们的索引都是log-开头的,后面跟的每天的时间,所以可以在输入框中输入log-*:
鼠标在空白地方一点,下面的create自动变为可点击的绿色,显示了时间这个索引字段,我们点击create,然后一个搜索索引就添加好了:
现在我们点击Discover就可以查看日志了:
我们可以在左侧配置要展示的字段:
这样右侧的信息会整齐一些:
上面的图表代表的是每个时间段的日志量:
如果想要在服务器中tail命令的刷新效果,可以点击右上角配置:
我们可以选择查看前15分钟的日志,并选中自动刷新:
然后选中每5秒刷新一次:
最后点击时间索引字段,倒序排序:
这样就完成了动态刷新的效果,上面刷新出来的永远是最新的日志。我们也看到,显示的日志内容确实是多台机器交替展示的:
如果我们想搜索带 111 的日志,可以在搜索框输入:
模糊搜索的速度是非常快的,这在我们搜索错误的时候非常有用!可以看到,ELK的组合基本达到了我们想要的效果!
我们的交流基地,“JAVA互联网技术交流:789650498”欢迎小伙伴们一起来交流: