spark序列化问题

1.什么时候发生序列化

我们在spark应用中使用到的算子函数都会被发送到Executor去执行，Driver端并不会执行。所以如果算子中用到了Driver端的自定义对象,那么就需要将该实例序列化后通过网络传输到每个Executor中。

都会出现下面的异常

2.如何解决

方法:自定义class实现java.io.Serializable接口