美文网首页
spark stream优化

spark stream优化

作者: scott_alpha | 来源:发表于2019-10-19 17:30 被阅读0次

运行时间优化：
1.合理设置批处理时间
2.减少数据序列化、反序列化的负担。DStream同样也能通过persist()方法将数据流存放在内存中，默认的持久化方式是MEMORY_ONLY_SER，也就是在内存中存放数据同时序列化的方式
3.减少因任务提交和分发所带来的负担：akka能够有效的确保任务及时分发，但是当批处理间隔非常小时，提交和分发任务的延迟会难以接受。
内存使用优化：
1.控制batch size（批处理间隔内的数据量）。spark streaming会把批处理间隔内接收到的所有数据存放在spark内部的可用内存区域中，因此必须确保当前节点spark的可用内存中，至少能容纳这个批处理时间间隔内的所有数据，否则必须增加新的资源以提高集群的处理能力；
2.及时清理不再使用的数据。对于处理过的不在需要的数据应及时清理，以确保spark streaming有富余的可用内存空间。通过设置合理的spark.cleaner.ttl时长来及时清理超时的无用数据，这个参数需要小心设置，以免后续操作中所需要的数据被超时错误处理。

相关文章

网友评论

      本文标题：spark stream优化

      本文链接：https://www.haomeiwen.com/subject/ltdnmctx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|spark stream优化|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！