1 介绍
flume是实时日志采集系统，
使用场景：监控目录的日志信息，控制台输入信息，端口信息，http发送的信息，并将该信息发送到指定的存储中，比如hdfs,Hbase,kafa等。为了保证flume的可靠性，flume搜集到的信息可以选择持久到磁盘中，等数据成功发送到别的地方后才会删除。
2 flume的概念
agent:flume的独立运行单位，一次存在多个agent,一个agent就是一个jvm
source:数据的搜集端，收集的数据会进行特殊的格式转化，并封装到event中，发送到Channel中，支持 Avro， log4j， syslog 和 http post(body为json格式)
event:事件，存储数据的基本单位，由header和body组成，header是由map组成。
channel: 通道，也可以理解为缓存队列，存储从cource发送过来的数据。连接sink和source的组件，比较常用的Channel的有，MemoryChannel和FileChannel。
sink:从channel中读取数据，并将数据移除，可以将数据发送到其它存储，也可以发送到下一个agent中去。常用的有hdfsSink,HbaseSink等
备注：agent的sink和source组件，都可以实现自定义。
3 拦截器
拦截器，用处对source搜集的数据传递给channel前进行过滤删除或者转换
Timestamp Interceptor：用于在event的header添加数据，用于sink发出的数据文件命名
Host Interceptor : IP拦截，在even中添加Ip或者替换
Regex FilteringInterceptor:正则过滤器，不符合正则的数据将删除
