ELK快速入门(02)ELK简单部署

ELK的部署效果要达到同时收集多台服务器的日志文件中的日志,并按照类别或者项目,在页面上展示,在一个页面上能看到多台机器的日志同时展现,就像看一台机器一样。下面我们使用ELK的经典组合版本 Elasticsearch2.4.6版本+Logstash2.4.1版本+Kibana4.6.6版本来演示ELK的搭建。

部署的时候版本不是越高越好,主要看Elasticsearch中lucene的版本,一定要是5+以上的版本,因为5以下的版本bug比较多,5+以后的版本问题就不大了,再往后主要是优化居多,包括后面的6版本和7版本,版本变化都不是很大,不过后面的版本数据实时性会高一些,如果对日志数据的实时性要求很高,可以考虑使用高版本。



部署两个应用

首先找两个服务器部署两个应用。我们在 192.168.65.130 和 192.168.65.140 上面,分别占用80端口,部署两个应用,效果如下:

同时给两个应用都加上每秒执行的定时任务:


同时生成的日志文件都放到 /app路径下面,文件名为 spring-boot-web.log,

这样两个项目就部署好了。






部署Elasticsearch

下载页面:

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

版本:

2.4.6

部署机器ip:

192.168.65.141

es不可以用root账户启动,多以新建一个用户es:

groupadd es

useradd -g es es

su es

切换到es用户后,解压elasticsearch:

然后进入config目录,修改配置文件 elasticsearch.yml,修改前注意备份,然后修改文件,主要的修改内容如下:

cluster.name: my.elk #集群名称,如果有多个集群,那么每个集群名就得是唯一的

node.name: node-192.168.65.141  #节点名称

node.master: true #该节点是否是master,true表示是的,false表示否,默认是true

node.data: true #该节点是否存储数据,默认true表示是的

http.port: 9200 #http访问端口,默认是9200,通过这个端口,调用方可以索引查询请求

transport.tcp.port: 9300 #节点之间通信的端口,默认为9300

network.host: 0.0.0.0 #访问地址 配置外网访问

#discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:8300"]  #如果是集群,就把所有的 全部写进来

#node.max_local_storage_nodes: 2 #设置一台机子能运行的节点数目,一般采用默认的1即可,因为我们一般也只在一台机子上部署一个节点

2版本的elasticsearch配置非常简单,只需要上面几个配置就可以了。es本身的配置只和自己有关,没有关于其它组件的配置。下一步就是启动,去es根目录下面,运行:

./bin/elasticsearch

或者使用后台运行:

nohup ./bin/elasticsearch &

然后访问es:

可以看到启动没有问题,访问页面显示了es的主要信息,包括节点相关信息以及lucene相关信息。es安装完成!

es安装完成后,一般都会安装一个非常经典的插件,就是head插件,2版本的es这个插件是非常好安装的,进入es的根目录,执行下面的命令:

./bin/plugin install mobz/elasticsearch-head

装完后,根目录会有个plugins/head目录,表示装好了,然后访问head页面,在9200后面加上 /_plugin/head,可以看到效果:

这样页面就比单纯的看数据信息友好多了。








部署Logstash

下载页面:

https://www.elastic.co/cn/downloads/past-releases#logstash

版本:

2.4.1

部署位置在两台应用服务器上。解压Logstash,进入根目录,手动新建一个配置文件:

配置文件需要配置的内容是,让Logstash收集本地的log文件中的日志,然后远程传输到es搜索引擎中去,所以有个写入模块(input),有个输出模块(output),整体文件结构如下:

先来看一下input的配置:

因为要从文件中读取日志,所以使用了file的配置,type可以随便起名字,最好定义为项目名加上服务器ip,这样在页面中有标识,其它配置可以参考注释。

再来看一下output配置:

根据类型操作日志,hosts表示写到的es的链接,index表示按日志天索引,因为一般日志会保留7到30天左右,所以按天比较合适。上面的配置就是Logstash中最简单的传输配置。下面进入Logstash的根目录,启动:

./bin/logstash -f ./config/log.conf

或者后台启动:

nohup ./bin/logstash -f ./config/log.conf &

注意:如果一个Logstash读取了多个日志文件,多个读取的配置都在一个目录下面,可以直接指定配置目录:

./bin/logstash -f ./confg

上面是140机器的Logstash的配置,再来看一下130的:

除了type不一样,其它基本相同,最重要的是,写到es的时候,索引是一样的,这样同一个项目使用相同的索引,可以保证所有分布在不同机器上的同一个项目的日志写到同一个es索引当中,这是最重要的配置。我们来看一下es的效果:

我们看到log-日志格式的索引立刻有了数据,而且随着不断的刷新,数据在增加,因为我们在项目中加了定时任务,所以在不断写日志。而且每个项目每天都会建立一个新的索引。







部署Kibana

下载页面:

https://www.elastic.co/cn/downloads/past-releases#kibana

版本:

4.6.6

部署ip:

192.168.65.142

我已经完成了把项目日志从应用服务器传输到es搜索引擎当中,并且安装每个项目每天进行索引,那么下一步就是配置查询了。Kibana下载后,解压,然后进入根目录,修改kibana的配置文件:

vim config/kibana.yml

主要修改的内容如下:

elasticsearch.url: "http://192.168.65.141:9200"  #配置es地址

修改一个就可以了,然后启动kibana,在根目录执行:

./bin/kibana

或者后台启动:

nohup ./bin/kibana &

kibana默认端口为5601,我们可以访问kibana:

http://192.168.65.142:5601

kibana也启动成功了!可以看到直接跳转到了索引配置页面:

因为我们的索引都是log-开头的,后面跟的每天的时间,所以可以在输入框中输入log-*:

鼠标在空白地方一点,下面的create自动变为可点击的绿色,显示了时间这个索引字段,我们点击create,然后一个搜索索引就添加好了:

现在我们点击Discover就可以查看日志了:

我们可以在左侧配置要展示的字段:

这样右侧的信息会整齐一些:

上面的图表代表的是每个时间段的日志量:

如果想要在服务器中tail命令的刷新效果,可以点击右上角配置:

我们可以选择查看前15分钟的日志,并选中自动刷新:

然后选中每5秒刷新一次:

最后点击时间索引字段,倒序排序:

这样就完成了动态刷新的效果,上面刷新出来的永远是最新的日志。我们也看到,显示的日志内容确实是多台机器交替展示的:

如果我们想搜索带 111 的日志,可以在搜索框输入:

模糊搜索的速度是非常快的,这在我们搜索错误的时候非常有用!可以看到,ELK的组合基本达到了我们想要的效果!






我们的交流基地,“JAVA互联网技术交流:789650498”欢迎小伙伴们一起来交流:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容