美文网首页
pySpark API 词频统计(5)

pySpark API 词频统计(5)

作者: mpro | 来源:发表于2018-06-20 14:26 被阅读0次

    #1 本地计算

    pyhont xx.py

    #2 提交集群

    spark-submit --py-files pyspark_wordcount.zip pyspark_wordcount.py

    提交spark的时候,我们往往python工程是多个python文件,彼此之间有调用关系。 

    那如何提交python工程呢? 

    ./bin/spark-submit --py-files XXXX.zip aaa.py

    XXXX是你将你所有需要用到的python文件打包成一个zip文件 

    aaa是你的python文件的main函数所在的py文件。

    相关文章

      网友评论

          本文标题:pySpark API 词频统计(5)

          本文链接:https://www.haomeiwen.com/subject/uxntyftx.html