由于Mapper、Reducer作为静态类,当有并发的job时,俩个job之间有交集,会出现问题。
修改为非静态类,更为稳妥。
hadoop的mapper与reduce要让性能更高,入库抑或操作hbase,查询数据等,都可改成批量操作,把操作放入cleanup方法里,回收资源,关闭链接等。
由于Mapper、Reducer作为静态类,当有并发的job时,俩个job之间有交集,会出现问题。
修改为非静态类,更为稳妥。
hadoop的mapper与reduce要让性能更高,入库抑或操作hbase,查询数据等,都可改成批量操作,把操作放入cleanup方法里,回收资源,关闭链接等。
本文标题:hadoop的Mapper、Reducer为static时并发会
本文链接:https://www.haomeiwen.com/subject/ohukdctx.html
网友评论