小蝌蚪找爸爸

下面就是一出小蝌蚪找爸爸的故事
按照我之前的教程,运行出来的界面是这样的,我刚开始以为就长这样,虽然我怀疑了一下,咋我的workers都不见了呢.莫非是害羞了?真的是.

然后,今天我在部署项目的时候,查看slave01的logs目录下面的log,我看到了这个

经过确定,问题形象化的描述就是.master是爸爸,worker是小蝌蚪.爸爸知道自己有几个小蝌蚪.但是小蝌蚪从出生开始就不知道自己的爸爸是谁.
作为一个有爱心的人,看到这种事情,怎么能袖手旁观.我发誓,我一定要找到小蝌蚪的爸爸.让他们父子相认!!!

为什么他们不能相认呢?
原因是Caused by: java.io.IOException: Failed to connect to localhost/127.0.0.1:7077
下面的教程给我指引了方向,原来这位同仁之前也帮助过一对小蝌蚪找到了他们的爸爸.经过查看日志,我发现当slave节点的spark-env.sh文件中缺失属性SPARK_MASTER_HOST的时候,小蝌蚪出生的时候就没有一块铭牌,上面写着爸爸的地址了.
那我们就加上(相当于到公安局注册一下身份信息,上书:我爸爸是ip名叫10.141.211.80 的那家伙).

然后把master节点和slaves节点重启一下就好了
下面就是父子相认的场面

太感动了,我都快哭了.
我真是个戏精!

教程

• spark-2.2.0 集群安装部署以及hadoop集群部署