Map Join

作者: scott_alpha | 来源:发表于2019-09-28 18:04 被阅读0次

1.适用于一张表十分小、一张表很大的场景
2.在map端缓存多张表,提前处理业务逻辑,这样增加map端业务,减少reduce端数据的压力,尽可能减少数据倾斜
提示:map join是mr的一种很好的优化手段
hive.auto.convert.join : 是否自动转换为mapjoin
hive.mapjoin.smalltable.filesize : 小表的最大文件大小,默认为25000000,即25M
hive.auto.convert.join.noconditionaltask : 是否将多个mapjoin合并为一个
hive.auto.convert.join.noconditionaltask.size : 多个mapjoin转换为1个时,所有小表的文件大小总和的最大值。

相关文章

网友评论

      本文标题:Map Join

      本文链接:https://www.haomeiwen.com/subject/nvytpctx.html