美文网首页
Spark(java)报错org.apache.spark.Sp

Spark(java)报错org.apache.spark.Sp

作者: 后来_16db | 来源:发表于2019-12-16 15:27 被阅读0次

报错原因

在map或filter操作中,调用了类成员函数或类成员变量,所以需要该类可序列化。
如果在map或filter中调用的是方法内部类,或者匿名类,也会报错。原因是Java的非静态内部类都隐式的持有外部类的引用,序列化内部类的时候也会序列化外部类。

解决方法

方法1

将该类implements Serializable,然后将不能序列化的成员变量前加transient关键字,特别是JavaSparkContext成员变量。

方法2

使用lambda表达式替换匿名内部类。

方法3

调用静态成员函数和静态变量。

相关文章

网友评论

      本文标题:Spark(java)报错org.apache.spark.Sp

      本文链接:https://www.haomeiwen.com/subject/zdfdnctx.html