Cloudera Hadoop生态概要总结

1 CDH

CDH生态体系中，自底向上归纳为下面四大部分：

数据迁移层：通过批量加载处理（Sqoop)、流式实时传输（Flume、Kafka)将数据移入移出Hadoop;
数据存储层：主要包括具有高批处理性的HDFS，具有高随机读写性的HBase，以及批处理性和随机读写性介于两者之间的Kudu;
资源管理与安全管制层：由Yarn提供资源管理，Sentry提供安全管制；
数据处理分析层：
- 数据处理主要由适用于大型数据集离线批处理的MapReduce，以及基于内存快速处理的Spark完成；
- 数据分析主要由适用对于大数据集的批处理作业Hive，以及提供实时交互查询的Impala；
- 此外还包括直接使用简单自然语言访问数据的搜索服务Apache Solr;
  
  CDH.png

分布式NoSQL数据库，列存储；
客户端访问数据时采用三级寻址：ZooKeeper文件---> -ROOT-表---> .META.表--->用户数据表；
查询时采用惰性缓存机制，当客户端通过已有的缓存去具体的region服务器中没有找到时，再通过三级寻址，将最新的地址进行缓存；
数据先写入MemStore缓存，并在Hlog中记录，系统周期性的将MemStore中的内容写入StoreFile文件，当StoreFile过大时，会触发分裂操作；

HBase.png

资源管理调度框架，将资源管理、作业调度/监控分成两个独立的守护进程，分别由ResourceManager、ApplicationMaster负责；
ResourceManager 包括Scheduler、ApplicationsManager;
Scheduler 负责为应用程序分配资源；
ApplicationsManager 负责处理提交的作业，与NodeManager通信，要求其为应用程序启动ApplicationMaster，并在任务失败时重新启动ApplicationMaster的服务；
NodeManager 为所在机器的代理，负责监视Container资源使用情况，并将其报告给Scheduler;
Container 包括CPU、内存、磁盘、网络等资源，是一个动态资源划分单位，具体资源量根据提交的应用程序的需求而变化；
ApplicationMaster 为运行应用程序向ResourceManager申请资源、与NodeManager通信以启动或者停止任务、监控所有任务的运行情况；
CDH动态资源池默认采用的DRF（ Dominant Resource Fairness）计划策略。当内存不够时，空虚的 CPU 不会再被分配任务；当CPU 不够时，多余的内存也不会再启动任务

Yarn.png

a pluggable authorization engine
可自定义授权规则以验证用户或应用程序对Hadoop资源的访问请求
高度模块化（pluggable ），可以支持Hadoop中各种数据模型的授权
Sentry Server 管理授权元数据，提供安全检索和操作元数据的接口
Sentry Plugin 提供操作存储在Sentry Server中的授权元数据的接口，以及 authorization policy engine

Sentry.png

离线分布式计算框架；
分而治之，任务分解，结果汇总；
自定义map、reduce函数，输入输出为<key, value>键值对；
用户编写MR程序，通过Client提交到JobTracker，JobTracker将任务分发到TaskTrackers执行，JobTracker与TaskTracker间通过心跳机制通信；

MapReduce.png

基于Hadoop的一个数据仓库工具，适用于离线批处理作业；
Hive 本身不存储数据，而是管理存储在HDFS上的数据，其主要是通过Hive Driver将用户的SQL语句解析成对应的MapReduce程序；
不支持事务；
Metastore Database 独立的数据库，依赖于传统的RDBMS，如MySQL或PostgreSQL，保存有关Hive数据库、表、列、分区和Hadoop底层数据文件和HDFS块位置等的元数据；
Driver：包括编译器、优化器、执行器，根据用户编写的 Hive SQL 语句进行解析、编译优化、生成执行计划，然后调用Hadoop的MapReduce计算框架，形成对应的 MapReduce Job；

Hive.png

对HDFS、HBase中的数据提供交互式SQL查询
Hive Metastore 存储Impala可访问数据的元数据信息 (Impala 中表的元数据存储借用的是 Hive中的Metastore)
Statestore 监控集群中各个Impala节点的健康状况，提供节点注册，错误检测等
Impala Daemon(Impalad) 运行在集群每个节点上的守护进程（与DataNode在同一主机上运行）。每个 Impalad 进程，都包含有Query Planner、Query Coordinator、Query Exec Engine三大模块
QueryPalnner 接收来自Clients的SQL语句，并解释成为执行计划
Query Coordinator 将执行计划进行优化和拆分，形成执行计划片段，并调度这些片段分发到各个节点上
Query Exec Engine 负责执行计划片段，最后返回中间结果，这些中间结果经过聚集之后最终返回给Clients
Hive 适合于长时间的批处理查询分析，而 Impala 适合于实时交互式 SQL 查询。 Hive本身并不执行任务的分析过程，而是依赖于MapReduce执行框架。而Impala没有使用 MapReduce 进行并行计算， Impala 把整个查询分析成一个执行计划树，而不是一连串的 MapReduce 任务，它使用与商用并行关系数据库 MPP 中类似的查询机制

impala_arch.jpeg

Server：Cloudera Manager的核心，管理Web服务器和应用程序逻辑，负责安装软件，配置，启动和停止服务，以及管理运行服务的集群;
Agent：安装在集群中的主机上，负责启动和停止进程，解压缩配置，触发安装和监视主机；
Management Service：执行各种监视，警报和报告等功能；
Database：存储集群的配置、监控等信息;
Cloudera Repository： Cloudera Manager分发的软件仓库;
Clients：提供与Server交换的接口
- Admin Console：管理员管理集群和Cloudera Manager的Web UI界面；
- API：提供开发人员创建自定义的Cloudera Manager应用程序；
  
  cm_arch.png