美文网首页码农的世界
hadoop的Mapper、Reducer为static时并发会

hadoop的Mapper、Reducer为static时并发会

作者: ArtisticYouth | 来源:发表于2019-08-08 22:13 被阅读2次

    由于Mapper、Reducer作为静态类,当有并发的job时,俩个job之间有交集,会出现问题。
    修改为非静态类,更为稳妥。

    报错.png 唯一一个解决办法.png 解决方法.png

    hadoop的mapper与reduce要让性能更高,入库抑或操作hbase,查询数据等,都可改成批量操作,把操作放入cleanup方法里,回收资源,关闭链接等。

    相关文章

      网友评论

        本文标题:hadoop的Mapper、Reducer为static时并发会

        本文链接:https://www.haomeiwen.com/subject/ohukdctx.html