美文网首页
Spark常见问题

Spark常见问题

作者: 躺着写代码 | 来源:发表于2020-02-19 18:35 被阅读0次
  • Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf

解决:设置参数 spark.debug.maxToStringFields=200

-SQL操作进行自身表进行JOIN字段报错 org.apache.spark.sql.AnalysisException: cannot resolve 'a.lv' given input columns:
解决:多包一层sql进行字段重命名

相关文章

网友评论

      本文标题:Spark常见问题

      本文链接:https://www.haomeiwen.com/subject/pixzfhtx.html