Note20：elasticsearch-6.6.0及Kibana安装配置

下载安装

地址
个人选择这个版本Elasticsearch-6.6.0和Kibana6.6.0
上传解压

[kevin@hadoop112 software]$ tar -zxvf elasticsearch-6.6.0.tar.gz -C /opt/module/
[kevin@hadoop112 software]$ tar -zxvf kibana-6.6.0-linux-x86_64.tar.gz -C /opt/module/

配置

修改ES的配置文件（jvm.options）

[kevin@hadoop112 software]$ cd /opt/module/elasticsearch-6.6.0/config/
[kevin@hadoop112 config]$ vim jvm.options

# 默认值比较大；个人电脑配置压力较大，所以调整为256m
-Xms256m
-Xmx256m

修改ES的配置文件（elasticsearch.yml）

[kevin@hadoop112 config]$ vim elasticsearch.yml

# 1.集群名称，同一集群名称必须相同
cluster.name: my-es

# 2.单个节点名称，同一集群中的节点，节点名必须不同
node.name: node-1

# 3.把bootstrap自检程序关掉
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

# 4.网络部分  改为当前的ip地址，端口号保持默认9200就行
network.host: hadoop112

# 5.自发现配置：新节点向集群报到的主机名
discovery.zen.ping.unicast.hosts: ["192.168.1.112","192.168.1.113","192.168.1.114"]

分发再自个修改配置文件的单个节点名称node.name 和当前的ip地址network.host

[kevin@hadoop112 config]$ cd /opt/module/
[kevin@hadoop112 module]$ xsync.sh elasticsearch-6.6.0

修改linux系统配置

# 为什么要修改linux配置？
# 默认elasticsearch是单机访问模式，就是只能自己访问自己。
# 但是我们之后一定会设置成允许应用服务器通过网络方式访问。这时，elasticsearch就会因为嫌弃单机版的低端默认配置而报错，甚至无法启动。
# 所以我们在这里就要把服务器的一些限制打开，能支持更多并发。
 
#改完重启linux
 
# 问题1：max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] elasticsearch
# 原因：系统允许 Elasticsearch 打开的最大文件数需要修改成65536
# 解决：
vim /etc/security/limits.conf
# 添加内容：
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 65536
 
# 注意：“*” 不要省略掉
 
# 问题2：max number of threads [1024] for user [judy2] likely too low, increase to at least [2048]  （CentOS7.x  不用改）
 
# 原因：允许最大进程数修该成4096
#解决：
vim /etc/security/limits.d/90-nproc.conf   
# 修改如下内容：
* soft nproc 1024
# 修改为
* soft nproc 4096
 
# 问题3：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] （CentOS7.x  不用改）
# 原因：一个进程可以拥有的虚拟内存区域的数量。
# 解决：可临时提高vm.max_map_count的大小
# 命令：sysctl -w vm.max_map_count=262144
# 上述方法修改之后，如果重启虚拟机将失效，所以：
# 永久修改：
vim /etc/sysctl.conf
# 最后添加一行：
vm.max_map_count=262144
# 即可永久修改
 
# 改完重启linux

修改Kibana的配置文件（kibana.yml）

[kevin@hadoop112 module]$ cd /opt/module/kibana-6.6.0/config/
[kevin@hadoop112 config]$ vim kibana.yml

# 设置查询ES的url
elasticsearch.hosts: ["http://hadoop112:9200"]

启动关闭脚本

[kevin@hadoop112 config]$ cd ~/bin
[kevin@hadoop112 bin]$ touch es-cluster.sh
[kevin@hadoop112 bin]$ chmod 775 es-cluster.sh
[kevin@hadoop112 bin]$ vim es-cluster.sh

#!/bin/bash 
es_home=/opt/module/elasticsearch-6.6.0
kibana_home=/opt/module/kibana-6.6.0
case $1  in
 "start") {
  for i in hadoop112 hadoop113 hadoop114
  do
    ssh $i  "source /etc/profile;${es_home}/bin/elasticsearch >/dev/null 2>&1 &"

   done
   nohup ${kibana_home}/bin/kibana >${kibana_home}/kibana.log 2>&1 &
};;
"stop") {
  ps -ef|grep ${kibana_home} |grep -v grep|awk '{print $2}'|xargs kill
  for i in hadoop112 hadoop113 hadoop114
  do
      ssh $i "ps -ef|grep $es_home |grep -v grep|awk '{print \$2}'|xargs kill" >/dev/null 2>&1
  done

};;
esac

启动/关闭

[kevin@hadoop112 bin]$ ./es-cluster.sh start
[kevin@hadoop112 bin]$ ./es-cluster.sh stop

集群测试

[kevin@hadoop112 bin]$ curl http://hadoop112:9200/_cat/nodes?v

# 会呈现（如果出错，就等一下，可能启动会花点时间）
ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.1.114   43   28   0    0.02    0.05     0.02 mdi    *    node-3
192.168.1.113   52   28   0    0.01    0.03     0.01 mdi    -    node-2
192.168.1.112   63   49   3    0.08    0.13     0.07 mdi    -    node-1

Kibana 的Web页面（具体用法没写）

http://hadoop112:5601/app/kibana#/home?_g=()

添加第三方分词器

分词器下载网址

创建 ik 文件夹

[kevin@hadoop112 bin]$ cd /opt/module/elasticsearch-6.6.0/plugins/
[kevin@hadoop112 plugins]$ mkdir ik
[kevin@hadoop112 plugins]$ cd ik

上传刚下载的 elasticsearch-analysis-ik-6.6.0.zip 到 ik 文件夹中；解压；重启ES即可

[kevin@hadoop112 ik]$ unzip elasticsearch-analysis-ik-6.6.0.zip
[kevin@hadoop112 ik]$ es-cluster.sh stop
[kevin@hadoop112 ik]$ es-cluster.sh start