什么是大数据？必看》》形象描述大数据技术生态圈
一、大数据在线分析处理和常用工具
1、大数据在线分析和处理特点：
* 数据源源不断到来；
* 数据需要尽快处理，不能积压；
* 处理后的数据依然是TB或PB级的数据量；
* 处理结果尽快展现；
总结为：数据的收集-——数据传输——数据处理——数据展现（可视化），其中，数据处理一般涉及数据的聚合，数据处理和数据展现能够在秒级得到响应。
2、工具：
（1） flume 主要用于数据的收集和传输。类似的大数据开源系统有 Logstash和Fluentd。
三者区别：
* Logstash主要和Elasticsearch、Kibana结合使用，即ELK框架；Logstash主要负责将数据源的数据转换成Elasticsearch认识的索引结构供Kibana查询。
* Fluentd逐渐被Flume代替。
* Flume能够支持多种数据源，并且输出到多种输出源，支持多种格式的数据。
Flume的架构主要有一下几个核心概念：
Event：一个数据单元，带有一个可选的消息头
Flow：Event从源点到达目的点的迁移的抽象
Client：操作位于源点处的Event，将其发送到Flume Agent
Agent：一个独立的Flume进程，包含组件Source、Channel、Sink
Source：用来消费传递到该组件的Event。连接的输入源可以有Avro、Thrift、Exec(Unix command output)、JMS(Java Message Service)、Kafka、NetCat(可以使用nc -lk port 测试)、Syslog.....
Channel：中转Event的一个临时存储，flume内部数据传输通道，保存有Source组件传递过来的Event。主要包括Memory Channel和File Channel。
Sink：从Channel中读取并移除Event，将Event传递到Flow Pipeline中的下一个Agent（如果有的话）。连接的输出源可以有Hdfs、Hive、Avro、Thrift、File Roll 、Hbase、Kafka......
Flume NG架构：
多个Agent连接形成Agent链：
多个Agent进行数据源的合并：
多路Agent:
实现load balance功能：
（2）kafka 主要用于前端日志的存储，用作缓冲
（3）Storm /Spark 专注于将数据按照时间窗口进行聚合处理，被称为流式处理框架。
* Storm提供比Spark更加实时的流式处理；
* Spark提供比Storm更多的服务，Spark 已经形成类似Hadoop的生态圈。
Spark 生态圈如下所示：
目前，Spark 有三种集群管理模式：
* Standalone ：一种简单的集群管理，其包括一个很容易搭建集群的Spark;
* Apache Mesos：一种通用的集群管理模式，可以运行Hadoop Mapreduce和服务应用的模式；
* Hadoop YARN ： Hadoop 2.0中的资源管理模式；
（4）Hbase /Redis 提供大数据存储和提供查询。类似的大数据开源系统有Cassandra.
* Cassandra 满足可用性和分区容忍性，允许数据的不一致（不同的客户端可能看到不一样的情况），提供了类似SQL的CQL查询语言，查询方便；
* Hbase 满足一致性和分区容忍性，拥有强大的记录一致性，但是不支持SQL，需要使用第三方服务来支持SQL（如 Apache Phoenix）;
未完待续。。。。
二、大数据离线处理和常用工具
未完待续。。。。
