1.flume节点服务设计
前两个负责收集和整理数据,后面那个负责合并收集
2.flume版本下载安装
官方版本:https://archive.apache.org/dist
CDH版本:http://archive.cloudera.com/cdh5/
更改权限解压到第一台虚拟机
更改一下名字
mv apache-flume-1.9.0-bin/ flume-1.9.0-bin
删除一下安装目录
rm -rf docs/
3.flume agent-1采集节点服务配置
flume-conf.properties
flume-env.sh
4.flume agent-2采集节点服务配置
将第二台的weblogs.log和flume-1.9.0-bin分发到第三台虚拟机
scp -r weblogs.log bigdata-pro03.kfk.com:/opt/datas/
scp -r flume-1.9.0-bin/ bigdata-pro03.kfk.com:/opt/modules/
在第三台虚拟机的conf更改为如下:
1.合并处理的flume节点是第一台虚拟机
2.负责收集日志数据的是第二台虚拟机