数据倾斜问题

1.空值引发的数据倾斜

解决方法:

1)可以直接不让null值参与join操作,即不让null值有shuffle阶段

2)因为null值参与shuffle时的hash结果是一样的,那么我们可以给null值随机赋值,这样它们的hash结果就不一样,就会进到不同的reduce中WHEN a.user_id IS NULL THEN concat('hive_', rand())

2.不同数据类型引发的数据倾斜

解决方法:直接把int类型都转为string就好了

3.不可拆分大文件引发的数据倾斜

解决方法:对文件进行压缩时,为避免因不可拆分大文件而引发数据读取的倾斜,在数据压缩的时候可以采用bzip2和Zip等支持文件分割的压缩算法

4.数据膨胀引发的数据倾斜

解决方法:这样的情况通常是使用了with rollup,拆分上面的sql,将with rollup拆分成如下几个sql

5.表连接时引发的数据倾斜

解决方法:将倾斜的数据存到分布式缓存中,分发到各个Map任务所在节点。在Map阶段完成join操作,即MapJoin,这避免了 Shuffle,从而避免了数据倾斜,主要是在参数的地方做设置

5.确实无法减少数据量引发的数据倾斜

解决方法:这类问题最直接的方式就是调整reduce所执行的内存大小。做一张中间临时表

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容