广播变量
Spark有两种共享变量——累加器、广播变量。广播变量可以让程序高效地向所有工作节点发送一个较大的只读值,以供一个或多个Spark操作使用。
需求来源
Spark中分布式执行的代码需要传递到各个Executor的Task上运行。对于一些只读、固定的数据(比如从DB中读出的数据),每次都需要Driver广播到各个Task上,这样效率低下。广播变量允许将变量只广播(提前广播)给各个Executor。该Executor上的各个Task再从所在节点的BlockManager获取变量,而不是从Driver获取变量,从而提升了效率。
一个Executor只需要在第一个Task启动时,获得一份Broadcast数据,之后的Task都从本节点的BlockManager中获取相关数据。
使用方法
1.调用SparkContext.broadcast方法创建一个Broadcast[T]对象。任何序列化的类型都可以这么实现。
2.通过value属性访问改对象的值(Java之中为value()方法)
3.变量只会被发送到各个节点一次,应作为只读值处理(修改这个值不会影响到别的节点)
上面这个程序可以运行,但是如果表更加大(比如表中不是呼号,而是IP地址),signPrefixes很容易就会达到MB级别的大小,从主节点为每个任务发送一个这样的数据就会代价巨大。而且如果之后还要再次使用signPrefixes这个对象,则还需要向每个节点再发送一遍。
所以可以将signPrefixes作为广播变量来解决这个问题:
pic-2.png
网友评论