环境配置参考 ELK环境配置
安装配置ElasticSearch
- 解压压缩包，并移至/usr/local目录下
tar zxf elasticsearch-5.5.2.tar.gz mv /opt/elk/elasticsearch-5.5.2 /usr/local/elasticsearch - 修改ES启动脚本中ES_JAVA_OPTS
vim /usr/local/elasticsearch/bin/elasticsearch 修改脚本中的ES_JAVA_OPTS参数，设置分配给ES的内存大小 ES_JAVA_OPTS="-Xms4g -Xmx4g" - 新增elastic组及用户, 因为ES不允许root用户启动
groupadd elastic useradd elastic -g elastic echo 'elastic' | passwd --stdin elastic chown -R elastic:elastic /usr/local/elasticsearch - 配置elasticsearch的配置文件(文末给出详细配置文件说明)
vim /usr/local/elasticsearch/config/elasticsearch.yml cluster.name: es-dev-cluster # 集群名称 node.name: elk-dev-101 # 节点名称 每个节点不同 node.master: true # 允许一个节点是否可以成为一个master节点 node.data: true # 允许该节点存储数据(默认开启) bootstrap.memory_lock: true bootstrap.system_call_filter: false # centos7以下版本需要将这个参数设置为false network.host: 0.0.0.0 http.port: 9200 discovery.zen.ping.unicast.hosts: ["10.8.189.101:9300", "10.8.189.102:9300", "10.8.189.103:9300"] discovery.zen.minimum_master_nodes: 2 discovery.zen.ping_timeout: 60s # 网上大部分文章这个参数都写成了discovery.zen.ping.timeout http.cors.enabled: true http.cors.allow-origin: "*" su elastic /usr/local/elasticsearch/bin/elasticsearch -d #启动elasticsearch 不能使用root用户启动
- 测试是否启动成功,有以下输出即启动成功
curl 'http://localhost:9200' { "name" : "elk-dev-103", "cluster_name" : "es-dev-cluster", "cluster_uuid" : "iKOVEPM2RayoiHD4jB462A", "version" : { "number" : "5.5.2", "build_hash" : "b2f0c09", "build_date" : "2017-08-14T12:33:14.154Z", "build_snapshot" : false, "lucene_version" : "6.6.0" }, "tagline" : "You Know, for Search" } - 查看ElasticSearch的索引
curl 'localhost:9200/_cat/indices?v'
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana S3RGLrRBSPi_3cj8n_MlGg 1 1 1 0 6.4kb 3.2kb
green open logstash-2017.09.12.09 y_M5oi45QLaWqpJW9Jld9A 5 1 38 0 197.4kb 101.8kb
配置遇到的错误及解决办法
-
启动中遇到了elastic启动之后就挂掉的情况，日志中记录为
[4] bootstrap checks failed [1]: max file descriptors [65532] for elasticsearch process is too low, increase to at least [65536] [2]: memory locking requested for elasticsearch process but memory is not locked [3]: max number of threads [1024] for user [elastic] is too low, increase to at least [2048] [4]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] -
具体解决办法为
## 这些报错的原因基本上全是系统参数的配置问题，所以只用修改服务器系统参数并生效即可 echo -e "\nelastic - nofile 65538" >> /etc/security/limits.conf #对应解决第一条问题 echo -e "\nelastic - memlock unlimited" >> /etc/security/limits.conf #对应解决第二条问题 echo -e "\nelastic - nproc 2048" >> /etc/security/limits.d/90-nproc.conf #对应解决第三条问题 echo -e "\nvm.max_map_count=262144" >> /etc/sysctl.conf && sysctl -p && sysctl -w vm.max_map_count=262144 #对应解决第四条问题
安装ElasticSearch的插件，用来监控ES集群状态
根据之前的架构设计，将插件装在10.8.189.103上
-
安装NodeJS
yum -y install xz tar xJf node-v6.11.2-linux-x64.tar.xz mv /opt/elk/node-v6.11.2-linux-x64 /usr/local/node ln -s /usr/local/node/bin/node /usr/local/bin/ ln -s /usr/local/node/bin/npm /usr/local/bin/ -
安装ELK插件 建议安装在nginx监听的服务器上，两个插件只用安装在同一台机器即可
- ElasticSearch-Head 是一个与Elastic集群(Cluster)相交互的Web前台
它展现ES集群的拓扑结构，并且可以通过它来进行索引(Index)和节点(Node)级别的操作
它提供一组针对集群的查询API，并将结果以json和表格形式返回
它提供一些快捷菜单，用以展现集群的各种状态
node8.4 npm5.3安装失败，GitHub搜索结果发现为npm版本太新导致，使用node6版本
cd /usr/local/elasticsearch #此目录下权限必须为elastic，不然安装会报权限不对 git clone https://github.com/mobz/elasticsearch-head.git cd elasticsearch-head npm install -g grunt --registry=https://registry.npm.taobao.org # 安装grunt npm install # 安装head nohup /usr/local/elasticsearch/elasticsearch-head/node_modules/grunt/bin/grunt server & # 启动head插件 访问地址为http://10.8.189.103:9100 - ElasticSearch-Head 是一个与Elastic集群(Cluster)相交互的Web前台
-
安装bigdesk插件
Bigdesk为Elastic集群提供动态的图表与统计数据
cd /usr/local/elasticsearch git clone https://github.com/hlstudio/bigdesk cd /usr/local/elasticsearch/bigdesk/_site nohup python -m SimpleHTTPServer & # 启动bigdesk插件 访问地址http://10.8.189.103:8000
ES配置文件详细说明
#==================================================
# 配置文件中给出了三种配置高性能集群拓扑结构的模式,如下：
# 1. 如果你想让节点从不选举为主节点,只用来存储数据,可作为负载器
node.master: false
node.data: true
#
# 2. 如果想让节点成为主节点,且不存储任何数据,并保有空闲资源,可作为协调器
node.master: true
node.data: false
#
# 3. 如果想让节点既不称为主节点,又不成为数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜索结果等
node.master: false
node.data: false
#==================================================
# 配置文件存储位置
path.conf: /path/to/conf
# 数据存储位置(单个目录设置)
path.data: /path/to/data
# 多个数据存储位置,有利于性能提升
path.data: /path/to/data1,/path/to/data2
# 临时文件的路径
path.work: /path/to/work
# 日志文件的路径
path.logs: /path/to/logs
# 插件安装路径
path.plugins: /path/to/plugins
#==================================================
# 设置索引的分片数,默认为5
index.number_of_shards: 5
# 设置索引的副本数,默认为1:
index.number_of_replicas: 1
# 配置文件中提到的最佳实践是,如果服务器够多,可以将分片提高,尽量将数据平均分布到大集群中去
# 同时,如果增加副本数量可以有效的提高搜索性能
# 需要注意的是,"number_of_shards" 是索引创建后一次生成的,后续不可更改设置
# "number_of_replicas" 是可以通过API去实时修改设置的
#==================================================
# 设置插件作为启动条件,如果一下插件没有安装,则该节点服务不会启动
plugin.mandatory: mapper-attachments,lang-groovy
#==================================================
# 当JVM开始写入交换空间时（swapping）ElasticSearch性能会低下,你应该保证它不会写入交换空间
# 设置这个属性为true来锁定内存,同时也要允许elasticsearch的进程可以锁住内存,linux下可以通过 `ulimit -l unlimited` 命令
bootstrap.mlockall: true
# 确保 ES_MIN_MEM 和 ES_MAX_MEM 环境变量设置为相同的值,以及机器有足够的内存分配给Elasticsearch
# 注意:内存也不是越大越好,一般64位机器,最大分配内存别才超过32G
#==================================================
# 设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0
network.bind_host: 192.168.0.1
# 设置其它节点和该节点交互的ip地址,如果不设置它会自动设置,值必须是个真实的ip地址
network.publish_host: 192.168.0.1
# 同时设置bind_host和publish_host上面两个参数
network.host: 192.168.0.1
# 设置节点间交互的tcp端口,默认是9300
transport.tcp.port: 9300
# 设置是否压缩tcp传输时的数据，默认为false,不压缩
transport.tcp.compress: true
# 设置对外服务的http端口,默认为9200
http.port: 9200
# 设置请求内容的最大容量,默认100mb
http.max_content_length: 100mb
# 使用http协议对外提供服务,默认为true,开启
http.enabled: false
#==================================================
# 设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0
network.bind_host: 192.168.0.1
# 设置其它节点和该节点交互的ip地址,如果不设置它会自动设置,值必须是个真实的ip地址
network.publish_host: 192.168.0.1
# 同时设置bind_host和publish_host上面两个参数
network.host: 192.168.0.1
# 设置节点间交互的tcp端口,默认是9300
transport.tcp.port: 9300
# 设置是否压缩tcp传输时的数据，默认为false,不压缩
transport.tcp.compress: true
# 设置对外服务的http端口,默认为9200
http.port: 9200
# 设置请求内容的最大容量,默认100mb
http.max_content_length: 100mb
# 使用http协议对外提供服务,默认为true,开启
http.enabled: false
#==================================================
# gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统
gateway.type: local
# 下面的配置控制怎样以及何时启动一整个集群重启的初始化恢复过程
# (当使用shard gateway时,是为了尽可能的重用local data(本地数据))
# 一个集群中的N个节点启动后,才允许进行恢复处理
gateway.recover_after_nodes: 1
# 设置初始化恢复过程的超时时间,超时时间从上一个配置中配置的N个节点启动后算起
gateway.recover_after_time: 5m
# 设置这个集群中期望有多少个节点.一旦这N个节点启动(并且recover_after_nodes也符合),
# 立即开始恢复过程(不等待recover_after_time超时)
gateway.expected_nodes: 2
#==================================================
# 下面这些配置允许在初始化恢复,副本分配,再平衡,或者添加和删除节点时控制节点间的分片分配
# 设置一个节点的并行恢复数
# 1.初始化数据恢复时,并发恢复线程的个数,默认为4
cluster.routing.allocation.node_initial_primaries_recoveries: 4
#
# 2.添加删除节点或负载均衡时并发恢复线程的个数,默认为2
cluster.routing.allocation.node_concurrent_recoveries: 2
# 设置恢复时的吞吐量(例如:100mb,默认为0无限制.如果机器还有其他业务在跑的话还是限制一下的好)
indices.recovery.max_bytes_per_sec: 20mb
# 设置来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5
indices.recovery.concurrent_streams: 5
# 注意: 合理的设置以上参数能有效的提高集群节点的数据恢复以及初始化速度
#==================================================
# 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点.默认为1,对于大的集群来说,可以设置大一点的值(2-4)
discovery.zen.minimum_master_nodes: 1
# 探查的超时时间,默认3秒,提高一点以应对网络不好的时候,防止脑裂
discovery.zen.ping.timeout: 3s
# For more information, see
# <http://elasticsearch.org/guide/en/elasticsearch/reference/current/modules-discovery-zen.html>
# 设置是否打开多播发现节点.默认是true.
# 当多播不可用或者集群跨网段的时候集群通信还是用单播吧
discovery.zen.ping.multicast.enabled: false
# 这是一个集群中的主节点的初始列表,当节点(主节点或者数据节点)启动时使用这个列表进行探测
discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]
# Slow Log部分与GC log部分略,不过可以通过相关日志优化搜索查询速度
#==================================================
# Cache部分:
# es有很多种方式来缓存其内部与索引有关的数据.其中包括filter cache
# filter cache部分:
# filter cache是用来缓存filters的结果的.默认的cache type是node type.node type的机制是所有的索引内部的分片共享filter cache.node type采用的方式是LRU方式.即:当缓存达到了某个临界值之后，es会将最近没有使用的数据清除出filter cache.使让新的数据进入es.
# 这个临界值的设置方法如下：indices.cache.filter.size 值类型：eg.:512mb 20%。默认的值是10%。
# out of memory错误避免过于频繁的查询时集群假死
# 1.设置es的缓存类型为Soft Reference,它的主要特点是据有较强的引用功能.只有当内存不够的时候,才进行回收这类内存,因此在内存足够的时候,它们通常不被回收.另外,这些引用对象还能保证在Java抛出OutOfMemory异常之前,被设置为null.它可以用于实现一些常用图片的缓存,实现Cache的功能,保证最大限度的使用内存而不引起OutOfMemory.在es的配置文件加上index.cache.field.type: soft即可.
# 2.设置es最大缓存数据条数和缓存失效时间,通过设置index.cache.field.max_size: 50000来把缓存field的最大值设置为50000,设置index.cache.field.expire: 10m把过期时间设置成10分钟.
index.cache.field.max_size: 50000
index.cache.field.expire: 10m
index.cache.field.type: soft
# field data部分&&circuit breaker部分：
# 用于field data 缓存的内存数量,主要用于当使用排序,faceting操作时,elasticsearch会将一些热点数据加载到内存中来提供给客户端访问,但是这种缓存是比较珍贵的,所以对它进行合理的设置.
# 可以使用值：eg:50mb 或者 30％(节点 node heap内存量),默认是：unbounded
indices.fielddata.cache.size： unbounded
# field的超时时间.默认是-1,可以设置的值类型: 5m
indices.fielddata.cache.expire: -1
# circuit breaker部分:
# 断路器是elasticsearch为了防止内存溢出的一种操作,每一种circuit breaker都可以指定一个内存界限触发此操作,这种circuit breaker的设定有一个最高级别的设定:indices.breaker.total.limit 默认值是JVM heap的70%.当内存达到这个数量的时候会触发内存回收
# 另外还有两组子设置：
indices.breaker.fielddata.limit:当系统发现fielddata的数量达到一定数量时会触发内存回收.默认值是JVM heap的70%
indices.breaker.fielddata.overhead:在系统要加载fielddata时会进行预先估计,当系统发现要加载进内存的值超过limit * overhead时会进行进行内存回收.默认是1.03
indices.breaker.request.limit:这种断路器是elasticsearch为了防止OOM(内存溢出),在每次请求数据时设定了一个固定的内存数量.默认值是40%
indices.breaker.request.overhead:同上,也是elasticsearch在发送请求时设定的一个预估系数,用来防止内存溢出.默认值是1
# Translog部分:
# 每一个分片(shard)都有一个transaction log或者是与它有关的预写日志,(write log),在es进行索引(index)或者删除(delete)操作时会将没有提交的数据记录在translog之中,当进行flush 操作的时候会将tranlog中的数据发送给Lucene进行相关的操作.一次flush操作的发生基于如下的几个配置
index.translog.flush_threshold_ops:当发生多少次操作时进行一次flush.默认是 unlimited
index.translog.flush_threshold_size:当translog的大小达到此值时会进行一次flush操作.默认是512mb
index.translog.flush_threshold_period:在指定的时间间隔内如果没有进行flush操作,会进行一次强制flush操作.默认是30m
index.translog.interval:多少时间间隔内会检查一次translog,来进行一次flush操作.es会随机的在这个值到这个值的2倍大小之间进行一次操作,默认是5s
index.gateway.local.sync:多少时间进行一次的写磁盘操作,默认是5s
# 以上的translog配置都可以通过API进行动态的设置
