spark踩坑记录（持续更新）

1、如果在一个spark脚本需要用到某第三方类库，比如pymysql，则需要在集群的所有机器上都安装该类库，否则会提示找不到它。
2、sparkcontext(sc)不能将其以类的属性方式传值，可以将其作为一个参数传递给main函数。