美文网首页
Spark(java)报错org.apache.spark.Sp

Spark(java)报错org.apache.spark.Sp

作者: 后来_16db | 来源:发表于2019-12-16 15:27 被阅读0次

    报错原因

    在map或filter操作中,调用了类成员函数或类成员变量,所以需要该类可序列化。
    如果在map或filter中调用的是方法内部类,或者匿名类,也会报错。原因是Java的非静态内部类都隐式的持有外部类的引用,序列化内部类的时候也会序列化外部类。

    解决方法

    方法1

    将该类implements Serializable,然后将不能序列化的成员变量前加transient关键字,特别是JavaSparkContext成员变量。

    方法2

    使用lambda表达式替换匿名内部类。

    方法3

    调用静态成员函数和静态变量。

    相关文章

      网友评论

          本文标题:Spark(java)报错org.apache.spark.Sp

          本文链接:https://www.haomeiwen.com/subject/zdfdnctx.html