美文网首页
flink写入hdfs文件大小和时间间隔

flink写入hdfs文件大小和时间间隔

作者: bigdata张凯翔 | 来源:发表于2021-04-05 19:27 被阅读0次
sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB,
sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins

注意:batchSize和BatchRolloverInterval一定要加L,虽然不加L也不会报错,
但笔者遇到一个坑设置102410241024*50 (50G)程序也不报错,但是把int类型转换为long类型,值变成了-2147483648。
batchsize就失效了。

相关文章

网友评论

      本文标题:flink写入hdfs文件大小和时间间隔

      本文链接:https://www.haomeiwen.com/subject/zppwhltx.html