elk安装配置

Graylog2+Elasticsearch+Nxlog

https://www.jianshu.com/u/95b81907fe14

Kibana 用户手册
Kibana汉化项目

ELK stack 中文指南

Elasticsearch: 权威指南

Elasticsearch: 权威指南

https://download.csdn.net/download/chinesepython/10904000

https://www.elastic.co/cn/

pandownload

搭建基于springcloud sleuth的ELK日志分析系统

****ELK 系列二、Centos 7 安装ELK6.5.3 +filebeat+守护进程supervisor 进行日志解析和定制

在 CentOS7 安装 ELK

https://blog.51cto.com/andyxu/2124697

https://www.cnblogs.com/hanyifeng/p/5509985.html
https://blog.csdn.net/m0_37327416/article/details/78120424

https://www.elastic.co/downloads

*****ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

https://www.cnblogs.com/woshimrf/p/elk-springboot.html#_caption_5

ES学习之路-安装elasticsearch-head插件

https://www.imooc.com/article/22709?block_id=tuijian_wz

elk(单机)安装过程中遇到的问题及解决方法

https://blog.csdn.net/weini1111/article/details/60468068

https://www.cnblogs.com/yuluoxingkong/p/7886622.html
ElasticSearch Root身份运行
http://www.dajiangtai.com/community/18136.do?origin=csdn-geek&dt=1214

内存调整

JVM相关运行参数

用的是5.6.9版本,因为一个没有32位的

  1. elk最低要求jdk为1.8
  2. elasticsearch默认要求内存为2g,修改配置
vi ./elasticsearch-5.1.1/config/jvm.options
-Xms2g
-Xmx2g

  1. elasticsearch不能以root用户执行,所以要创建用户,然后切换用户后再执行。
  2. https://blog.csdn.net/weini1111/article/details/60468068
  3. https://blog.csdn.net/liangzhao_jay/article/details/56840941

vi /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT
service iptables restart

调整elk配置

vi ./elasticsearch-5.1.1/config/elasticsearch.yml
network.host: 0.0.0.0

3、max file descriptor

ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

vi /etc/security/limits.conf 
* hard nofile 65536
* soft nofile 65536


4、max number of threads

max number of threads [1024] for user [user] is too low, increase to at least [2048]
vi /etc/security/limits.d/90-nproc.conf
*          soft    nproc     2048


5、max virtual memory areas

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
1 sysctl -w vm.max_map_count=262144
2 vi /etc/sysctl.conf 
vm.max_map_count=262144



6、设置/etc/security/limits.d/90-nproc.conf后,仍报错

ERROR: bootstrap checks failed
max number of threads [1876] for user [work] is too low, increase to at least [2048]

查询虚拟机内存,如果内存较低,就会影响实际的最大线程数


在/etc/security/limits.conf文件末尾加入 
* soft nofile 65536 
* hard nofile 131072 
* soft nproc 2048 
* hard nproc 4096 
修改/etc/security/limits.d/20-nproc.conf 
* soft nproc 4096 
改成 
* soft nproc 8192 
在/etc/systml.conf中添加 
vm.max_map_count=655360 

最后执行命令 
‘sysctl -p’




在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

head安装

1.地址:https://github.com/mobz/elasticsearch-head 
2.安装git :yum install git 
3.安装node 
wget https://nodejs.org/dist/v8.11.1/node-v8.11.1-linux-x86.tar.xz
tar xvJf  ***.tar.xz来解压
添加环境变量
export NODE_HOME=/usr/local/devtools/node-v8.11.1-linux-x86
export PATH=$ZOOKEEPER_HOME/bin:$PATH

git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head



npm install
npm run start
open http://localhost:9100/




logstash安装配置

https://my.oschina.net/itblog/blog/547250

log4j主动去连接ELK中的logstash,然后把日志发送到logstash上
https://blog.csdn.net/ketonfly/article/details/15812499

logstash日志分析的配置和使用
https://blog.csdn.net/clevercode/article/details/78632887?locationnum=9&fps=1

Logstash 讲解与实战应用
https://www.cnblogs.com/python-way/p/6110736.html

vi config/log4j_to_es.conf
# For detail structure of this file
# Set: https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html
input {
  # For detail config for log4j as input,
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html
  log4j {
    mode => "server"
    host => "192.168.112.128"
    port => 4567
  }
  stdin { }
}
filter {
  #Only matched data are send to output.
}
output {
  # For detail config for elasticsearch as output,
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
  elasticsearch {
    action => "index"          #The operation on ES
    hosts  => "192.168.112.128:9200"   #ElasticSearch host, can be array.
    index  => "applog"         #The index to write data to.
  }
  stdout {
    codec => rubydebug
  }
}



./bin/logstash -f config/log4j_to_es.conf

Kibana配置

https://my.oschina.net/itblog/blog/547250

tar -zxvf kibana-4.3.0-linux-x86.tar.gz
cd kibana-4.3.0-linux-x86
vi config/kibana.yml

server.port: 5601
server.host: “Kibanaip”
elasticsearch.url: http://elasticsearchip:9200
kibana.index: “.kibana”


启动kibana:
./bin/kibana


http://localhost:5601/
需要配置至少一个Index名字或者Pattern,它用于在分析时确定ES中的Index。这里我输入之前elasticsearch配置的Index名字applog

配置前先写几个log 到 elasticsearch 

然后就可以成功添加index了
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343