//
开发高效的hive程序,hive优化 - 博客搬家至 lxw1234.com - ITeye技术网站
http://superlxw1234.iteye.com/blog/1564456
ppt见附件。
• 分区裁剪、列裁剪
• 合理利用中间表,避免对一个表重复扫描
• 尽量避免笛卡尔积
• 合理使用 MapJoin
• 用 Join 代替 IN
• 合理使用 Union all
• 合理使用动态分区
• 数据倾斜
//
开发高效的hive程序,hive优化 - 博客搬家至 lxw1234.com - ITeye技术网站
http://superlxw1234.iteye.com/blog/1564456
ppt见附件。
• 分区裁剪、列裁剪
• 合理利用中间表,避免对一个表重复扫描
• 尽量避免笛卡尔积
• 合理使用 MapJoin
• 用 Join 代替 IN
• 合理使用 Union all
• 合理使用动态分区
• 数据倾斜