Hadoop离线数据分析平台实战——310新增会员和总会员分析
项目进度
| 模块名称 | 完成情况 |
|---|---|
| 用户基本信息分析(MR)� | 未完成 |
| 浏览器信息分析(MR) | 未完成 |
| 地域信息分析(MR) | 未完成 |
| 外链信息分析(MR) | 未完成 |
| 用户浏览深度分析(Hive) | 未完成 |
| 订单分析(Hive) | 未完成 |
| 事件分析(Hive) | 未完成 |
模块介绍
新增会员统计类似新增用户统计，也是统计新增u_mid的个数，
在新增用户统计中，我们是统计launch事件中，uuid的唯一个数，
那么在新增会员中，我们是统计所有事件中的第一次访问网站的会员id的去重个数
(第一次访问网站定义为: 在日志收集模块上线后，第一次访问网站的均作为新会员)。
新增会员计算规则
新会员(new_member)计算规则：
计算当天(由维度信息确定)的所有数据中的member id，
要求member id以前没有访问过网站(在日志收集模块上线后没法访问过)，
统计这部分的member id格式作为新会员的数量值。
所有要求我们保存member id到某个数据库中，
在这里有两种比较好的方法，
第一种将会员信息保存到hbase中，以会员id作为rowkey，这样方式方便获取。
第二种将会员信息保存到mysql中，以会员id作为主键，这种方式方便存储。
这里采用第二种方式。
最终数据保存：stats_user和stats_device_browser。
涉及到的列(除了维度列和created列外)：new_members。
涉及到其他表有dimension_platform、dimension_date、dimension_browser。
总会员计算规则
总会员(total_member)计算规则：
前一天的总会员+今天的新增会员作为今天的总会员数。
如果是计算月维度的总会员，那么就是拿上个月这个维度的总会员 + 这个月维度下的新增会员作为这个月维度下的总会员。
实现方式类似total_users的计算。
最终数据保存：stats_user和stats_device_browser。
涉及到的列(除了维度列和created列外)：total_members。
涉及到其他表有dimension_platform、dimension_date、dimension_browser。
编码步骤
- 实现操作member id的相关类。
- 执行..\文档\mysql脚本\memberInfo.sql
- 实现new members统计mapreduce的编写
- 添加统计total_members的代码
- 测试
