美文网首页
Q:org.apache.hadoop.hdfs.server.

Q:org.apache.hadoop.hdfs.server.

作者: 点点渔火 | 来源:发表于2017-11-20 15:32 被阅读0次

    参考: http://www.jianshu.com/p/f5ec6c7bb176
    提示为文件操作超租期,由于多个task操作写一个文件,其中某个task完成任务后删除了临时文件引起。
    解决:
    避免太高的并发度同时写一个文件。
    所以在调用write.parquet前,先使用repartition合并碎片分区。
    因为减少了分区数,下次再读取这份数据进行处理时,减少了启动task的开销。

    相关文章

      网友评论

          本文标题:Q:org.apache.hadoop.hdfs.server.

          本文链接:https://www.haomeiwen.com/subject/dtmvvxtx.html