接着上一篇,本篇着重梳理一下大数据的特点、应用及相关的职位体系。
大数据特点及应用
特点:3V
- Volume:数据量极大,在EB级别(TB * 1024 * 1024),一般以分布式文件系统如HDFS作为基石
- Variety:数据多元化且结构可能不一致,所以一般用NO-SQL这类的非关系型数据库存储
- Velocity:处理过程需要高效,使用Map Reduce模型进行处理,其基本思想为分治+分布式计算
应用
- 机器学习:大量的数据作为机器学习的训练集
- 商业分析:从数据中挖掘出有价值的商业信息
大数据职位体系
在大数据领域有很多职位,最让人傻傻分不清楚就是“数分”和“数开”。一字之差,可是实际工作内容却相差甚远。下图就这两大类的职位的方向、职责、能力范畴和相关职位几个维度进行了整理和分析。