美文网首页
spark踩坑记录(持续更新)

spark踩坑记录(持续更新)

作者: BlueCat2016 | 来源:发表于2018-04-12 20:19 被阅读0次

1、如果在一个spark脚本需要用到某第三方类库,比如pymysql,则需要在集群的所有机器上都安装该类库,否则会提示找不到它。
2、sparkcontext(sc)不能将其以类的属性方式传值,可以将其作为一个参数传递给main函数。

相关文章

网友评论

      本文标题:spark踩坑记录(持续更新)

      本文链接:https://www.haomeiwen.com/subject/zcifkftx.html