要让spark在集群模式下运行,需要正确设置
spark-submit --master spark://master_hostname:7077
注意master默认要用spark master机器的hostname而不是IP;如果在调用./start-master.sh时使用了-h master_IP参数,才可以用
spark-submit --master spark://master_IP:7077
访问hdfs文件/user/hadoop/input时,使用的hdfs的地址("hdfs://localhost:9000/user/hadoop/input"),参考 etc/hadoop/core-site.xml的fs.defaultFS设置,一般是hdfs://localhost:9000。默认也可以不设置。直接访问"/user/hadoop/input"或"input"(hadoop用户的相对路径,只有hadoop用户才可以使用这种格式)即可。
网友评论