1、如果在一个spark脚本需要用到某第三方类库,比如pymysql,则需要在集群的所有机器上都安装该类库,否则会提示找不到它。
2、sparkcontext(sc)不能将其以类的属性方式传值,可以将其作为一个参数传递给main函数。
1、如果在一个spark脚本需要用到某第三方类库,比如pymysql,则需要在集群的所有机器上都安装该类库,否则会提示找不到它。
2、sparkcontext(sc)不能将其以类的属性方式传值,可以将其作为一个参数传递给main函数。
本文标题:spark踩坑记录(持续更新)
本文链接:https://www.haomeiwen.com/subject/zcifkftx.html
网友评论