俗话说的好：“工欲善其事必先利其器”，大数据相关的技术栈太多了，所以有必要挑出一根主线出来学习，这样才能达到事半功倍的效果。

谈到大数据我们第一能想到的就是海量的数据，那么就涉及到海量数据的存储问题；存储的数据哪来？自然涉及到数据的产生和采集；存储下来的数据要干嘛？当然是要做数据分析用的，因此咱们就从这几个方面来具体说一说当下比较主流的技术方案。

数据产生

数据的产生也就是我们要采集的数据的源头，没有数据，那还谈啥大数据。数据产生的场景有很多（包括但不限于）：

应用内部常规业务数据
从外部系统爬过来的数据
通过埋点的方式增加收集用户使用行为的数据

数据采集

有了数据后我们要把产生的数据收集起来，然后再传输到我们的大数据平台。其中涉及到离线数据和实时数据两大分类，针对不同的数据分类，我们需要采取不同的技术方案。

Sqoop

针对离线数据，当下比较主流技术是Sqoop，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中

Flume

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力
目前Flume已经是Apache的顶级子项目，也是目前实时日志数据收集一个比较主流的开源框架

Kafka

通常Flume数据采集速度和下游的处理速度是不同步的，此时一般做法是引入消息中间件来做数据缓冲。Kafka以其高吞吐率和可以水平扩展而被广泛使用，目前主流的开源分布式处理系统（如Storm和Spark等）都支持与Kafka集成

数据存储

HDFS

HDFS是一个分布式文件系统，具有高度的容错性，并且提供了高吞吐量的数据访问，非常适合大规模数据集上的应用。
在Hadoop的整个架构中，HDFS在MapReduce任务处理过程中提供了对文件操作和存储等的支持，MapReduce在HDFS基础上实现了任务的分发、跟踪、和执行等工作，并收集结果，两者相互作用，共同完成了Hadoop分布式集群的主要任务

HBase

HBase是一种构建在HDFS之上的分布式、面向列族的存储系统。在需要实时读写并随机访问超大规模数据集等场景下，HBase目前是市场上主流的选择。

数据处理

Hive

Hive是基于Hadoop的一个数据仓库工具，通过Hive，我们可以方便地进行ETL的工作，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL转变成MapReduce任务来执行。
Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive不适合用于联机(online)事务处理，也不提供实时查询功能，是目前比较主流的离线数据处理工具

Spark

Spark也是目前业界比较受欢迎和流行的准实时数据处理方案，是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法
Spark还有用于处理实时数据的流计算框架Spark Streaming，其基本原理是将实时数据分成小的时间片段（秒或者几百毫秒），以类似Spark离线批处理的方式来处理这小部分数据。

Storm

Apache Storm可谓是流数据处理的鼻祖，是原生的流计算机框架，数据一条一条被处理，延迟非常低，但是相应的，数据处理的吞吐量一般。为了弥补Storm的这一缺陷，Strom Trident出现了。Trident是对原生Strom的一个更高层次的抽象，采用了微批处理的方式进行流处理，但代价就是数据处理延迟的增加。目前基于微批处理的流计算框架的延迟至少在秒级，有些情况下甚至要到分钟级

Flink

Flink是原生的流计算框架，提供高级API、状态管理、exactly once可靠性等，此外，Flink是一个同时面向流处理和批处理的开源计算平台，它能够基于同一个Flink引擎，提供流处理和批处理两种类型应用的功能，在Flink中，批处理被当做一种特殊的流处理，只是它的输入数据流被定义为有界的而已
Flink的流处理理念和设计非常不错，能够满足绝大多数的流计算应用场景，有成为未来主流的流计算框架的趋势

数据应用

Drill

Apache Drill是一个开源实时大数据分布式查询引擎，目前已经成为Apache的顶级项目。Drill是开源版本的Google Dremel，Dremel是Google的交互式数据分析系统，可以组建规模上千的集群，处理PB级别的数据。MapReduce处理数据一般在分钟甚至小时级别，而Dremel将处理时间缩短到秒级，即Drill是对MapReduce的强有力补充
Drill兼容ANSI SQL语法作为接口，支持对本地文件、HDFS、Hive、HBase作为存储的数据查询，所有这些数据都可以像使用传统数据库的表查询一样进行快速实时查询

以上

参考资料：《百度百科》、《离线和实时大数据开发实战》

（1）大数据到底该学点啥