工作中可能会遇到这种问题:
集群的spark工作内存太小,比如只有50个G,如果想让spark工作内存变成100个G,则需要在CM控制台修改以下两个参数
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
本文标题:CM集群中修改spark应用内存
本文链接:https://www.haomeiwen.com/subject/bxagbqtx.html
网友评论