困扰了一个上午的问题终于解决了。
当遇到：sparksql at java.io.ObjectInputStream$BlockDataInputStream.readUnsignedShort 这样的问题。
你先看看是不是在udf中使用了变量
udf不能直接使用变量，要直接定义自己的变量，在调用udf时再将变量用lit封装后传入。
例如： xxudf(lit(变量))
困扰了一个上午的问题终于解决了。
当遇到：sparksql at java.io.ObjectInputStream$BlockDataInputStream.readUnsignedShort 这样的问题。
你先看看是不是在udf中使用了变量
udf不能直接使用变量，要直接定义自己的变量，在调用udf时再将变量用lit封装后传入。
例如： xxudf(lit(变量))
本文标题：SparkPipeline: java.io.ObjectInp
本文链接：https://www.haomeiwen.com/subject/ugyfpctx.html
网友评论