ELK初接触

注意:
出错的话注意大小写引号

大纲：

一、简介

二、Logstash

三、Redis

四、Elasticsearch

五、Kinaba

一、简介

1、核心组成

ELK由Elasticsearch、Logstash和Kibana三部分组件组成；

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用

kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

2、四大组件

Logstash: logstash server端用来搜集日志；

Elasticsearch: 存储各类日志；

Kibana: web化接口用作查寻和可视化日志；

Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server；

3、ELK工作流程

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

wKioL1YWGBnxpAwyAAGFWRpT6X8070.jpg

4、ELK的帮助手册

ELK官网：https://www.elastic.co/

ELK官网文档：https://www.elastic.co/guide/index.html

ELK中文手册：http://kibana.logstash.es/content/elasticsearch/monitor/logging.html

注释

ELK有两种安装方式

(1)集成环境：Logstash有一个集成包，里面包括了其全套的三个组件；也就是安装一个集成包。

(2)独立环境：三个组件分别单独安装、运行、各司其职。(比较常用)

本实验也以第二种方式独立环境来进行演示；单机版主机地址为：192.168.1.104

二、Logstash

1、安装jdk

略

2、安装logstash

cd /root/
 wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

 tar zxf logstash-1.5.4.tar.gz -C /usr/local/

配置logstash的环境变量`


 echo "export PATH=\$PATH:/usr/local/logstash-1.5.4/bin" > /etc/profile.d/logstash.sh

 . /etc/profile

3、logstash常用参数

-e :指定logstash的配置信息，可以用于快速测试;

-f :指定logstash的配置文件；可以用于生产环境;

4、启动logstash

4.1 通过-e参数指定logstash的配置信息，用于快速测试，直接输出到屏幕。

# logstash -e "input {stdin{}} output {stdout{}}"           

my name is lijinghua.    ``//``手动输入后回车，等待10秒后会有返回结果

Logstash startup completed

2015-10-08T13:55:50.660Z 0.0.0.0 my name is lijinghua.

这种输出是直接原封不动的返回...

4.2 通过-e参数指定logstash的配置信息，用于快速测试，以json格式输出到屏幕。

 logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}

my name is lijinghua.    ``//``手动输入后回车，等待10秒后会有返回结果

Logstash startup completed

{`

"message"` `=> ``"my name is lijinghua."``,

"@version"` `=> ``"1"``,

"@timestamp"` `=> ``"2015-10-08T13:57:31.851Z"``,

"host"` `=> ``"0.0.0.0"

}`

这种输出是以json格式的返回...

5、logstash以配置文件方式启动

5.1 输出信息到屏幕

编辑配置文件
 vim logstash-simple.conf 

input { stdin {} }
output {
   stdout { codec=> rubydebug }
}

 logstash -f logstash-simple.conf    //普通方式启动

Logstash startup completed

# logstash agent -f logstash-simple.conf --verbose //开启debug模式

Pipeline started {:level=>:info}

Logstash startup completed

hello world.    ``//``手动输入hello world.

{

"message"` `=> ``"hello world."``,

"@version"` `=> ``"1"``,

"@timestamp"` `=> ``"2015-10-08T14:01:43.724Z"``,

"host"` `=> ``"0.0.0.0"

}

效果同命令行配置参数一样...

5.2 logstash输出信息存储到redis数据库中

刚才我们是将信息直接显示在屏幕上了，现在我们将logstash的输出信息保存到redis数据库中,如下


前提是本地(172.19.172.152)有redis数据库，那么下一步我们就是安装redis数据库.

# cat logstash_to_redis.conf

input { stdin { } }
output {
    stdout { codec => rubydebug }
    redis {
        host => '172.19.172.152'
        data_type => 'list'
        key => 'logstash:redis'
    }
}


如果提示Failed to send event to Redis，表示连接Redis失败或者没有安装，请检查...`

6、 查看logstash的监听端口号

nohup  logstash agent -f logstash_to_redis.conf --verbose &    #启动
#查看端口(9301)
netstat -tnlp |grep java

三、Redis

5.redis的监控

# cd redis-2.8.19/src/    //cd到redis目录

# ./redis-cli monitor     //reids动态监控

6、logstash结合redis工作

6.1 首先确认redis服务是启动的

# netstat -tnlp |grep redis

tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      3843``/redis-server` `* 

tcp        0      0 127.0.0.1:21365             0.0.0.0:*                   LISTEN      2290``/src/redis-serv

tcp        0      0 :::6379                     :::*                        LISTEN      3843``/redis-server` `*`

6.2 启动redis动态监控

# cd redis-2.8.19/src/

# ./redis-cli monitor

OK

6.3 基于入口redis启动logstash

编辑配置文件

# vim  logstash_to_redis.conf

input { stdin { } }
output {
    stdout { codec => rubydebug }
    redis {
        host => '172.19.172.152'
        data_type => 'list'
        key => 'logstash:redis'
    }
}

# logstash agent -f logstash_to_redis.conf --verbose

Pipeline started {:level=>:info}

Logstash startup completed

dajihao linux

{

"message"` `=> ``"dajihao linux"``,

"@version"` `=> ``"1"``,

"@timestamp"` `=> ``"2015-10-08T14:42:07.550Z"``,

"host"` `=> ``"0.0.0.0"

}

6.4 查看redis的监控接口上的输出

# ./redis-cli monitor

OK
1444315328.103928 [0 192.168.1.104:56211] ``"rpush"` `"logstash:redis"` `"{\"message\":\"dajihao linux\",\"@version\":\"1\",\"@timestamp\":\"2015-10-08T14:42:07.550Z\",\"host\":\"0.0.0.0\"}"`

如果redis的监控上也有以上信息输出，表明logstash和redis的结合是正常的。

四、Elasticsearch

1、安装Elasticsearch


# wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz

# tar zxf elasticsearch-1.7.2.tar.gz -C /usr/local/

2、修改elasticsearch配置文件elasticsearch.yml并且做以下修改.

# vim /usr/local/elasticsearch-1.7.2/config/elasticsearch.yml

discovery.zen.``ping``.multicast.enabled: ``false`        `#关闭广播，如果局域网有机器开9300 端口，服务会启动不了`

network.host: 192.168.1.104    ``#指定主机地址，其实是可选的，但是最好指定因为后面跟kibana集成的时候会报http连接出错（直观体现好像是监听了:::9200 而不是0.0.0.0:9200）

http.cors.allow-origin: ``"/.*/"

http.cors.enabled: ``true`        `#这2项都是解决跟kibana集成的问题，错误体现是 你的 elasticsearch 版本过低，其实不是

3、启动elasticsearch服务

# /usr/local/elasticsearch-1.7.2/bin/elasticsearch     #日志会输出到stdout

# /usr/local/elasticsearch-1.7.2/bin/elasticsearch -d #表示以daemon的方式启动

# nohup /usr/local/elasticsearch-1.7.2/bin/elasticsearch > /var/log/logstash.log 2>&1 &

4、查看elasticsearch的监听端口


# netstat -tnlp |grep java

tcp        0      0 :::9200                     :::*                        LISTEN      7407``/java         

tcp        0      0 :::9300                     :::*                        LISTEN      7407``/java

5、elasticsearch和logstash结合

将logstash的信息输出到elasticsearch中

# cat logstash-elasticsearch.conf 

input { stdin {} }
output {
    elasticsearch { host => "172.19.172.152" }    
    stdout { codec=> rubydebug }
}

6、基于配置文件启动logstash


# /usr/local/logstash-1.5.4/bin/logstash agent -f logstash-elasticsearch.conf

Pipeline started {:level=>:info}

Logstash startup completed

python linux java c++    ``//``手动输入

{`

"message"` `=> ``"python linux java c++"``,

"@version"` `=> ``"1"``,

"@timestamp"` `=> ``"2015-10-08T14:51:56.899Z"``,

"host"` `=> ``"0.0.0.0"

}

7、curl命令发送请求来查看elasticsearch是否接收到了数据

# curl http://localhost:9200/_search?pretty

{

"took"` `: 28,

"timed_out"` `: ``false``,

"_shards"` `: {

"total"` `: 5,

"successful"` `: 5,

"failed"` `: 0

},

"hits"` `: {

"total"` `: 1,

"max_score"` `: 1.0,

"hits"` `: [ {

"_index"` `: ``"logstash-2015.10.08"``,

"_type"` `: ``"logs"``,

"_id"` `: ``"AVBH7-6MOwimSJSPcXjb"``,

"_score"` `: 1.0,

"_source"``:{``"message"``:``"python linux java c++"``,``"@version"``:``"1"``,``"@timestamp"``:``"2015-10-08T14:51:56.899Z"``,``"host"``:``"0.0.0.0"``}

} ]

}

}

8、安装elasticsearch插件

#Elasticsearch-kopf插件可以查询Elasticsearch中的数据，安装elasticsearch-kopf，只要在你安装Elasticsearch的目录中执行以下命令即可：

# cd /usr/local/elasticsearch-1.7.2/bin/

# ./plugin install lmenezes/elasticsearch-kopf

-> Installing lmenezes``/elasticsearch-kopf``...

Trying https:``//github``.com``/lmenezes/elasticsearch-kopf/archive/master``.zip...

Downloading .............................................................................................

Installed lmenezes``/elasticsearch-kopf` `into ``/usr/local/elasticsearch-1``.7.2``/plugins/kopf

执行插件安装后会提示失败，很有可能是网络等情况...

-> Installing lmenezes``/elasticsearch-kopf``...

Trying https:``//github``.com``/lmenezes/elasticsearch-kopf/archive/master``.zip...

Failed to ``install` `lmenezes``/elasticsearch-kopf``, reason: failed to download out of all possible locations..., use --verbose to get detailed information

解决办法就是手动下载该软件，不通过插件安装命令...

cd` `/usr/local/elasticsearch-1``.7.2``/plugins

wget https:``//github``.com``/lmenezes/elasticsearch-kopf/archive/master``.zip

unzip master.zip

mv` `elasticsearch-kopf-master kopf

以上操作就完全等价于插件的安装命令

9、浏览器访问kopf页面访问elasticsearch保存的数据

# vim logstash-redis.conf`

input {

redis {

host => ``'127.0.0.1'`  `# 我方便测试没有指定password，最好指定password

data_type => ``'list'

port => ``"6379"

key => ``'logstash:redis'` `#自定义

type` `=> ``'redis-input'`   `#自定义

}

}

output {

elasticsearch {

host => ``"192.168.1.104"

codec => ``"json"

protocol => ``"http"`  `#版本1.0+ 必须指定协议http

}

}

五、Kinaba

1、安装Kinaba

# wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

# tar zxf kibana-4.1.2-linux-x64.tar.gz -C /usr/local

2、修改kinaba配置文件kinaba.yml


# vim /usr/local/kibana-``4.1``.``2``-linux-x64/config/kibana.yml

elasticsearch_url: ``"http://127.0.0.1:9200"

3、启动kinaba

/usr/local/kibana-4.1.2-linux-x64/bin/kibana

输出以下信息，表明kinaba成功.

{``"name"``:``"Kibana"``,``"hostname"``:``"localhost.localdomain"``,``"pid"``:1943,``"level"``:30,``"msg"``:``"No existing kibana index found"``,``"time"``:``"2015-10-08T00:39:21.617Z"``,``"v"``:0}

{``"name"``:``"Kibana"``,``"hostname"``:``"localhost.localdomain"``,``"pid"``:1943,``"level"``:30,``"msg"``:``"Listening on 0.0.0.0:5601"``,``"time"``:``"2015-10-08T00:39:21.637Z"``,``"v"``:0}

kinaba默认监听在本地的5601端口上

4、浏览器访问kinaba
ip:5601
4.1 使用默认的logstash-*的索引名称，并且是基于时间的，点击“Create”即可。

wKioL1YWFTbx56DuAAOecFQkxcA301.jpg

4.2 看到如下界面说明索引创建完成。

wKiom1YWFR-hbgxOAAQZ85RcxMg067.jpg

4.3 点击“Discover”，可以搜索和浏览Elasticsearch中的数据。
注意:这个我们需要先在第一个终端写入log数据，就可以看到在kibana里看到数据了,也就是这条,

logstash agent -f /usr/local/logstash-1.5.4/logstash_to_redis.conf —verbose

wKioL1YWFTaRWGZmAAQ81v02YE8823.jpg

结束<<<

端口问题:
1、ELK默认端口号

elasticsearch：9200 9300

logstash : 9301

kinaba : 5601

2、错误汇总

(1)java版本过低

[2015-10-07 18:39:18.071]  WARN -- Concurrent: [DEPRECATED] Java 7 is deprecated, please use Java 8.

(2)Kibana提示Elasticsearch版本过低...

This version of Kibana requires Elasticsearch 2.0.0 or higher on all nodes. I found the following incompatible nodes ``in` `your cluster: 

Elasticsearch v1.7.2 @ inet[``/192``.168.1.104:9200] (127.0.0.1)

(3)提示找不到java路径

Could not find any executable java binary. Please install java in your PATH or set JAVA_HOME.

解决:

export JAVACMD=`which java`
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,937评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,503评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,712评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,668评论 1赞 276
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,677评论 5赞 366
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,601评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,975评论 3赞 396
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,637评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,881评论 1赞 298
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,387评论 4赞 319
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,971评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2赞 342