hive 数据倾斜问题
由于同事将未登录网站的相关信息导入到日常访问信息表中，之前的数据总量为7亿，现在13亿，数据差不多扩了一倍，所以在统计独立IP、UV、PV、独立cookie数，出现数据倾斜，reduce 进度99%时就被卡住了，因为未登录用户的用户ID为0，这样导致所有用户ID为0的数据都分到了一个reduce上，6亿的数据。目前简单的解决方法：
关联查询的sql：
? ? ? ? ?insert overwrite local directory '$HIVE_RESULT'
? ? ? ? ?select sum(case when d.pv_flag=1 then 1 else 0 end) as pv,count(distinct d.id) as uv,count(distinct d.ip) as ip,sum(d.stime),count(distinct d.cookie),d.product,u.friendcount_level ?from user ?u join access_dap ?d ?on (d.log_date='$YESTERDAY' and u.id=d.id) ? group by d.product,u.friendcount_level;
改过后的sql：
? ? ? ? ?insert overwrite local directory '$HIVE_RESULT'
? ? ? ? ?select sum(case when d.pv_flag=1 then 1 else 0 end) as pv,count(distinct d.id) as uv,count(distinct d.ip) as ip,sum(d.stime),count(distinct d.cookie),d.product,u.friendcount_level ?from user ?u join access_dap ?d ?on (d.log_date='$YESTERDAY' and u.id=d.id) ?and d.id!=0 group by d.product,u.friendcount_level;
将access_dap表id为0的过滤掉，因为join ?user表时，user表中没有用户id=0的数据；暂时解决了问题；后续继续优化，，，
