【Zabbix】elasticsearch搭建与zabbix对接

一.  搭建elasticsearch

1.      上传 jdk-8u181-linux-x64.tar.gz 和 elasticsearch-6.1.4.tar.gz 文件到系统任意目录,

安装java

解压jdk-8u181-linux-x64.tar.gz文件

tar -zxvf jdk-8u181-linux-x64.tar.gz

编辑profile文件,添加jdk环境变量

vim /etc/profile

在最后添加

#JDK环境变量

JAVA_HOME=/usr/local/jdk1.8.0_181

CLASSPATH=$JAVA_HOME/lib/

PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH


引用环境变量

source /etc/profile

直接执行java  –version 确定java已可用

解压elasticsearch-6.1.4.tar.gz文件

tar –zxvf elasticsearch-6.1.4.tar.gz

编辑修改elasticsearch的配置文件elasticsearch.yml

vim elasticsearch-6.1.4/config/elasticsearch.yml

主要修改以下信息(数据存放目录以及日志存放目录需要添加执行权限,)

配置文件解析如下:

开启服务(可以使用-d后台启用)

/usr/local/elasticsearch-6.1.4/bin/elasticsearch

乐维Tips:在启动服务时,不能以root用户开启服务,elasticsearch需要以其他用户开启服务;

1、  需要创建用户;

添加es用户

useradd es -m

设置es用户密码

passwd es

2、  需要修改elasticsearch-6.1.4目录、数据存放目录、日志存放目录的所属组和所属用户

chown es:es /usr/local/elasticsearch-6.1.4/data

chown es:es /usr/local/elasticsearch-6.1.4/logs

chown es:es /usr/local/elasticsearch-6.1.4/

3、ERROR:bootstrap checks failed:max file descriptors [4096] for elasticsearchprocess likely too low, increase to at least [65536]

原因:无法创建本地文件问题,用户最大可创建文件数太小

解决方案:

切换到root用户,编辑limits.conf配置文件,

添加类似如下内容:

vi/etc/security/limits.conf

添加如下内容:

*  soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096


注:* 代表Linux所有用户名称(比如hadoop)

保存、退出、重新登录才可生效

4、max virtualmemory areas vm.max_map_count [65530] likely too low, increase to at least[262144]

原因:最大虚拟内存太小

解决方案:切换到root用户下,修改配置文件sysctl.conf

vi /etc/sysctl.conf

添加下面配置:

vm.max_map_count=655360

并执行命令:sysctl -p

5、max number ofthreads [1024] for user [es] likely too low, increase to at least [2048]

原因:无法创建本地线程问题,用户最大可创建线程数太小

解决方案:

切换到root用户,进入limits.d目录下,修改90-nproc.conf 配置文件。

vi /etc/security/limits.d/90-nproc.conf

修改 * soft nproc 1024 为  * soft nproc 2048

以es用户启动服务(-d 可以后台启动 )

su es

/usr/local/elasticsearch-6.1.4/bin/elasticsearch

开启防火墙端口9200 TCP

firewall-cmd --zone=public --add-port=9200/tcp–permanent

在WEB上输入IP:9200测试是否可以正常访问使用

二.  zabbix对接

需要修改zabbix_server的配置文件

修改HistoryStorageURL=http://192.168.150.10:9200

修改zabbix.conf.php文件

vi/usr/local/nginx/html/zabbix/conf/zabbix.conf.php

重启zabbix_server

同步成功后

方法1、ElasticSearch Head可以直接在谷歌浏览器上进行安装(推荐)

直接把文件拖到扩展程序进行添加

方法2、这里介绍一个 Elasticsearch 可视化的管理插件 elasticsearch-head,可方便的查看,删除,管理数据

安装elasticsearch-head插件需要nodejs的支持

1.  nodejs安装

2.      head安装配置

请参考https://blog.csdn.net/zoubf/article/details/79007908

三.  Elasticsearch常用命令

(由于没有自带的数据清理功能,需要手动编写脚本)

1、curl 命令的使用

curl -X'< PROTOCOL>://:< PORT>/< PATH>?'-d ''VERB       HTTP方法:GET, POST, PUT, HEAD, DELETE

PROTOCOL   http或者https协议(只有在Elasticsearch前面有https代理的时候可用)

HOST       Elasticsearch集群中的任何一个节点的主机名

PORT       Elasticsearch HTTP服务所在的端口,默认为9200

PATH       API路径,资源路径(例如_count将返回集群中文档的数量)

QUERY_STRING 一些可选的查询请求参数,例如?pretty参数将返回易读的JSON数据

BODY 一个JSON格式的请求主体(如果请求需要的话)

具体详细方法,请参考

https://www.linuxidc.com/Linux/2016-10/136548.htm

添加索引(zabbix为数据库名)

curl -XPUT'http://192.168.1.20:9090/zabbix?pretty'

创建成功后,默认会分配五个主分片(创建后不可更改,通过算法将数据存放在这五个分片中的一个,增删改都是针对主分片的)和一个复制分片(可修改,每个主分片都对应一个复制分片),这两个默认值都可以在配置文件中修改,也可以在创建的时候指定,如

curl -XPUT 'http://192.168.1.20:9090/zabbix?pretty'-d '{

    "settings": {

        "number_of_shards" : 2,     #2个主分片

        "number_of_replicas" : 0    #0个复制分片

    }

}'

查看索引

curl -XGET'http://192.168.1.20:9090/zabbix?pretty'

查询方式;

例如:

查询所有文档 

等同于 curl-XGET ‘http://localhost:9200/test/article/_search?pretty

curl -XGET 'http://localhost:9200/test/article/_search?pretty' -d '

{    "query": {

        "match_all": {}

    }

}'#返回

{

  # 用时 毫秒

  "took" : 4,

  "timed_out" : false,

  #分片信息

  "_shards" : {

 "total" : 5,

 "successful" : 5,

 "failed" : 0

  },

  "hits" : {

 #文档数

 "total" : 3,

 "max_score" : 1.0,

 "hits" : [ {

      "_index" : "test",

      "_type" : "article",

      "_id" : "AVf_6fM1vEkwGPLuUJqp",

      "_score" : 1.0,

      "_source" : {

        "id" : 2,

        "subject" : "第二篇文章标题",

        "content" : "第二篇文章内容",

        "author" : "jam"

      }

    }, {

      "_index" : "test",

      "_type" : "article",

      "_id" : "4",

     "_score" : 1.0,

     "_source" : {

        "id" : 4,

        "subject" : "第四篇文章标题",

        "content" : "第四篇文章内容-更新后",

        "author" : "tomi"

      }

    }, {

      "_index" : "test",

      "_type" : "article",

      "_id" : "3",

      "_score" : 1.0,

      "_source" : {

        "id" : 3,

        "subject" : "第三篇文章标题",

        "content" : "第三篇文章内容",

        "author" : "jam"

      }

  }}

查询作者是名字包含“jam” 的文档,返回id 是2和3 的文档

curl -XGET 'http://localhost:9200/test/article/_search?pretty' -d '

{

"query": {

"match": {

"author": "jam"

        }

    }

}'

查询文章内容包含“更新” 的文档,返回id 是4 的文档

curl -XGET 'http://localhost:9200/test/article/_search?pretty' -d '

{    "query": {

"match": {

"content": "更新"

        }

    }

}'

查询全部索引

curl -XGET 'http://192.168.150.10:9200/_cat/indices/?v'

删除所有数据包括自行添加的索引

curl -XDELETE 'http://192.168.150.10:9200/*'

2、  Elasticsearch清理数据

由于Elasticsearch没有自带的数据删除配置,所以需要脚本进行清理数据

1)删除索引是会立即释放空间的,不存在所谓的“标记”逻辑。

2)删除文档的时候,是将新文档写入,同时将旧文档标记为已删除。磁盘空间是否释放取决于新旧文档是否在同一个segment file里面,因此ES后台的segment merge在合并segment file的过程中有可能触发旧文档的物理删除

但因为一个shard可能会有上百个segment file,还是有很大几率新旧文档存在于不同的segment里而无法物理删除。想要手动释放空间,只能是定期做一下force merge,并且将max_num_segments设置为1。

删除文档 

释放空间 

配置计划任务

文件下载:jdk-8u181-linux-x64.tar.gz、elasticsearch-6.1.4.tar.gz

密码:x6I7



转自

elasticsearch搭建与zabbix对接

(出处: 乐维论坛)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容