开发高效的hive程序,hive优化给部门做的一次hive开发优化的分享,经验不足,还请大家多多指教。?ppt见附件。??
开发高效的hive程序,hive优化
给部门做的一次hive开发优化的分享,经验不足,还请大家多多指教。
?
ppt见附件。
?
?
?分区裁剪、列裁剪?合理利用中间表,避免对一个表重复扫描?尽量避免笛卡尔积?合理使用MapJoin?用Join代替IN?合理使用Union all?合理使用动态分区?数据倾斜 开发高效的hive程序,hive优化
给部门做的一次hive开发优化的分享,经验不足,还请大家多多指教。
?
ppt见附件。
?
?
?分区裁剪、列裁剪?合理利用中间表,避免对一个表重复扫描?尽量避免笛卡尔积?合理使用MapJoin?用Join代替IN?合理使用Union all?合理使用动态分区?数据倾斜