image.png
在spark 上跑hive sql 脚本，在spark 2.x以上跑没问题 ，hive上没问题，spark1.6上跑最后会报如图以上问题 ，墙内比较难找到对应解决办法 ，可以在脚本里配置一下配置，spark.sql.adaptive.enabled=true，默认值是false。设置为true的话，就是开启了Spark SQL自适应查询引擎，就是在运行时，通过一些统计指标来动态优化Spark sql的执行计划。
产生原因目前没有找到合适的解释，产生问题的地方很简单，就是两个表在left join 预估是因为数据倾斜导致 ，a left join b的时候 ，b表数据较小，大量数据关联不上，导致数据倾斜
在spark 上跑hive sql 脚本，在spark 2.x以上跑没问题 ，hive上没问题，spark1.6上...
执行顺序总结 FROM
left join on and 与 left join on where的区别 left join on and...
Left Join / Right Join /inner join相关 Left Join select * f...
0 索引 JOIN语句的执行顺序INNER/LEFT/RIGHT/FULL JOIN的区别ON和WHERE的区别 ...
一、 left join， right join， inner join区别？ left join(左联接) 返回...
一、 left join， right join， inner join区别？ left join(左联接) 返回...
left join right join inner join 的区别。 left join 与right jo...
LEFT JOIN 中 ON 和 WHERE 的区别 在进行left join 查询时，会先根据on进行查询得到一...
关于mysql中的left join和left outer join的区别 LEFT JOIN是LEFTOUTE...
本文标题：spark1.6.3执行hivesql遇到left join 时
本文链接：https://www.haomeiwen.com/subject/ccsgvktx.html
网友评论