环境配置参考 ELK环境配置
安装配置zookeeper
部署在zk集群节点机器上(最少需要三台)
-
安装zookeeper
tar zxf zookeeper-3.4.9.tar.gz mv /opt/elk/zookeeper-3.4.9 /usr/local/zookeeper mkdir /home/zk_data #创建zk数据存放目录 echo 101 > /home/zk_data/myid # 创建myid文件，三台机器上不可相同 -
配置zookeeper
cd /usr/local/zookeeper/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/zk_data clientPort=2181 server.101=10.8.189.101:2888:3888 server.102=10.8.189.102:2888:3888 server.103=10.8.189.103:2888:3888 Zookeeper默认会将控制台信息输出到启动路径下的zookeeper.out中 显然在生产环境中我们不能允许Zookeeper这样做，通过如下方法，可以让Zookeeper输出按尺寸切分的日志文件： 修改conf/log4j.properties zookeeper.root.logger=INFO, CONSOLE改为zookeeper.root.logger=INFO, ROLLINGFILE 修改bin/zkEnv.sh文件 ZOO_LOG4J_PROP="INFO,CONSOLE"改为ZOO_LOG4J_PROP="INFO,ROLLINGFILE" -
zk相关命令
/usr/local/zookeeper/bin/zkServer.sh start #启动zk /usr/local/zookeeper/bin/zkServer.sh status #查看zk启动状态 正常三台节点，应有两台follower和一台leader
安装配置kafka
Kafka 是一个高吞吐量的分布式发布订阅日志服务，具有高可用、高性能、分布式、高扩展、持久性等特性。目前已经在各大公司中广泛使用。和之前采用 Redis 做轻量级消息队列不同，Kafka 利用磁盘作队列，所以也就无所谓消息缓冲时的磁盘问题。此外，如果公司内部已有 Kafka 服务在运行，logstash 也可以快速接入，免去重复建设的麻烦
在10.8.189.101和10.8.189.102两台机器上部署kafka做集群
tar zxf kafka_2.12-0.10.2.1.tgz
mv /opt/elk/kafka_2.12-0.10.2.1 /usr/local/kafka
cd /usr/local/kafka
mkdir /home/data # 创建消息文件存储的路径
编辑kafka配置文件
vim /usr/local/kafka/config/server.properties
broker.id=101 # brokerid 每台机器不同
delete.topic.enable=true
num.network.threads=3
num.io.threads=8
post=9092
hostname=10.8.189.101
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/data
num.partitions=6
num.recovery.threads.per.data.dir=1
log.retention.hours=72
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
kafka默认启动以hostname识别
# vim /etc/hosts
10.8.189.101 elk1
10.8.189.102 elk2
10.8.189.103 elk3
kafka启动
cd /usr/local/kafka/
nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
测试zk和kafka之间的连通性
#在10.8.189.101上创建一个topics主题
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 10.8.189.101:2181 --replication-factor 2 --partitions 1 --topic kafka_es
--replication-factor 2 #复制两份
--partitions 1 #创建1个分区
--topic #主题为shuaige
#在10.8.189.101上创建一个发布者
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list 10.8.189.101:9092 --topic kafka_es
#在10.8.189.102上创建一个订阅者
/usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper 10.8.189.102:2181 --topic kafka_es --from-beginning
# 删除一个topic
# bin/kafka-topics.sh --delete --zookeeper 10.8.189.101:2181 --topic topics_name
# 如果还不能删除, 可以到zookeeper中去干掉它
# cd /usr/local/zookeeper-3.4.10/
# bin/zkCli.sh
# ls /brokers/topics # 查看topic
# rmr /brokers/topics/topics_name # 删除topic
在发布者的终端中输入字符信息，可以在订阅者上看到输出。这个时候kafka就可以用作消息队列的收发了
