美文网首页
Spark注意事项

Spark注意事项

作者: wumingkeqi | 来源:发表于2017-11-28 19:34 被阅读0次

    spark快速入门

    要让spark在集群模式下运行,需要正确设置

    spark-submit --master spark://master_hostname:7077
    

    注意master默认要用spark master机器的hostname而不是IP;如果在调用./start-master.sh时使用了-h master_IP参数,才可以用

    spark-submit --master spark://master_IP:7077
    

    访问hdfs文件/user/hadoop/input时,使用的hdfs的地址("hdfs://localhost:9000/user/hadoop/input"),参考 etc/hadoop/core-site.xml的fs.defaultFS设置,一般是hdfs://localhost:9000。默认也可以不设置。直接访问"/user/hadoop/input"或"input"(hadoop用户的相对路径,只有hadoop用户才可以使用这种格式)即可。

    相关文章

      网友评论

          本文标题:Spark注意事项

          本文链接:https://www.haomeiwen.com/subject/mxgebxtx.html