使用版本
flume1.9.0
http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
flume安装
flume环境准备
jdk 1.7+
jdk环境配置
解压flume到D盘根目录,添加系统环境变量 FLUME_HOME = D:\apache-flume-1.9.0-bin(flume所在目录)
Path添加 %FLUME_HOME%\conf;%FLUME_HOME%\bin;
进入flume中的conf文件夹,复制一份flume-env.sh.template文件,命名为flume-env.sh,修改java路径
export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_162
在conf目录下新增example.conf文件,将配置写入其中(也可以使用官方配置文件,官方配置文件flume读取数据源类型为netcat,数据源为 loaclhost:4444,这里我是指定文件夹读取日志数据)
# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /test/flumeSpool
a1.sources.r1.fileHeader = true
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sources.r1.type = spooldir,flume 读取的数据文件类型: spooldir = 指定文件,
a1.sources.r1.spoolDir = /test/flumeSpool 指定读取文件夹的路径
并在该路径下创建相应的文件夹。
修改log4j日志输出方式,修改confi目录下的flume.root.logger为
-flume.root.logger=INFO,console
在flume/conf目录下 shift + 右键 打开命令面板,输入命令启动flume
flume-ng agent --conf ../conf --conf-file example.conf --name a1
flume-ng agnet --conf "配置文件文件目录相对路径或绝对路径" --conf-file "配置文件" --name "配置文件里agent的名字"
往/test/flumeSpool文件夹中添加日志文件,注意,添加,不是新建
查看D:\apache-flume-1.9.0-bin\conf\logs文件夹内的日志
flume安装测试完成