Hadoop离线数据分析平台实战——310新增会员和总会员分析

项目进度

模块介绍

新增会员统计类似新增用户统计，也是统计新增u_mid的个数，
在新增用户统计中，我们是统计launch事件中，uuid的唯一个数，
那么在新增会员中，我们是统计所有事件中的第一次访问网站的会员id的去重个数
(第一次访问网站定义为: 在日志收集模块上线后，第一次访问网站的均作为新会员)。

新增会员计算规则

新会员(new_member)计算规则：
计算当天(由维度信息确定)的所有数据中的member id，
要求member id以前没有访问过网站(在日志收集模块上线后没法访问过)，
统计这部分的member id格式作为新会员的数量值。
所有要求我们保存member id到某个数据库中，
在这里有两种比较好的方法，
第一种将会员信息保存到hbase中，以会员id作为rowkey，这样方式方便获取。
第二种将会员信息保存到mysql中，以会员id作为主键，这种方式方便存储。
这里采用第二种方式。

最终数据保存：stats_user和stats_device_browser。
涉及到的列(除了维度列和created列外)：new_members。
涉及到其他表有dimension_platform、dimension_date、dimension_browser。

总会员计算规则

总会员(total_member)计算规则：
前一天的总会员+今天的新增会员作为今天的总会员数。
如果是计算月维度的总会员，那么就是拿上个月这个维度的总会员 + 这个月维度下的新增会员作为这个月维度下的总会员。

实现方式类似total_users的计算。
最终数据保存：stats_user和stats_device_browser。
涉及到的列(除了维度列和created列外)：total_members。
涉及到其他表有dimension_platform、dimension_date、dimension_browser。

编码步骤

1. 实现操作member id的相关类。
   1. 执行..\文档\mysql脚本\memberInfo.sql
2. 实现new members统计mapreduce的编写
3. 添加统计total_members的代码
4. 测试