Hadoop离线数据分析平台实战——410事件分析

Hadoop离线数据分析平台实战——410事件分析

项目进度

模块名称 完成情况
用户基本信息分析(MR)� 完成
浏览器信息分析(MR) 完成
地域信息分析(MR) 完成
外链信息分析(MR) 完成
用户浏览深度分析(Hive) 完成
订单分析(Hive) 未完成
事件分析(Hive) 未完成

模块介绍

事件分析我们主要只是分析事件的触发次数,
通过查看事件的触发次数我们可以得到事件转换率或者用户会此类事件的兴趣所在之处以及不喜之处。

计算规则

计算event事件中,计算category和action分组后的记录个数,不涉及到任何的去重操作。
最终数据保存:stats_event。涉及到所有列。
涉及到其他表有dimension_platform、dimension_date、dimension_event。

代码步骤

  1. hive自定义函数定义
  2. hive中创建hbase对应的外部表
  3. hive脚步编写
  4. sqoop脚步编写
  5. 测试

参考:..\代码\transformer\hive\en\statsEvent.hql

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容