1、本文目的
笔者在项目跟进的过程中遇到了需要EMR开发环境部署的方案，并了解到阿里云和AWS也已经提供了完备的EMR开发环境，不过看了一下具体价格，发现EMR开发环境的价格快赶上云服务器价格的一半了，可谓非常暴利。考虑到成本节约和自身的学习欲望，我将在之后的框架中搭建起一个完备的EMR研发框架，并在最大程度上保留API和程序调试的自由性，并把自己在开发部署过程中遇到的坑坑洼洼和大家分。项目环境为CentOS7.0。
2、项目架构介绍
① 框架+软件介绍
② 端口分配
③ 环境变量
3、文章目录
0.基础软件配置(Java/Python/MySQL)
1.HUE容器配置
2.Zeppelin容器配置
3.Jupyter/notebook容器配置
4.Pig+Ant配置
5.Zookeeper配置
6.Yarn安装配置
7.Hadoop基础
7++.难点:Hadoop配置文件
8.Hive安装配置
8++.Hive配置文件
9.HBase配置
10.Spark安装配置
11.Phoenix安装配置
12.Impala/Kylin安装配置
13.Storm安装配置
14.整体可用性测试
4、总结
在部署整个大数据开发环境的过程中遇到了非常多的坑和困难，笔者会在之后的文章中进行整理。通过这次部署，对于Hadoop和Spark两个大数据体系的认识有了更加深刻的认识。
