使用的系统

ubuntu server 16.04 LST

采用的架构

ps:个人觉得 把 yarn 还有 secondarynameNode 和 namenode 放在一起 会很危险 试想一下如果master 挂了 那不是全挂

尚硅谷的是这个样子的

ps:有没有一种美国三权分立的感觉 靠不靠谱我就不知到了 但是大管家们都坐在一起 沟通可能方便些吧
还有就是上面的是 用了两个 worker 下面是三个都是 worker 有点既当老板又做员工的感觉饿

灰常重要但是相当easy 就是容易出不来的 免登陆

如果你在装机的时候 没有 选上openssh服务的话 你就得自己装
就提醒一下关键步骤吧 ！

1.如果明明弄好authorized_keys 和 known_hosts 了但还要输密码

ssh-add一下

2.如果上面的不起效果那重启一下 不要先去看看是不是哪里写错了

3.如果重启不起效果 那么就可以去删掉 .ssh文件夹里面的东西了 然后重新来一遍生成

4.三台机器的 .ssh 文件夹中的 authorized_keys 和 known_hosts 都有了 再去测试 只有一台有其他没有 也会出错 有时间最好是去看看ssh登陆的原理

ps:ssh-copy-id命令追加比较靠谱 然后再用 scp 文件名 用户@主机：路径

这个不成功 后面没法做 就是这么尬

后面的都是very easy了

来啦老弟 你要的 复制粘贴来了

core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadooptemp</value>
</property>

hdfs-site.xml

hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/logincat/hadoop/data/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/logincat/hadoop/data/hdfs/data</value>
</property>

yarn-site.xml

yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>    

mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:19888</value>
</property>

还是这句话 有时间 apache的啥子权威指南 走一波 你就会 头发掉的更快

格式化namenode

hdfs namenode -format

启动

./start-all.sh

这个你启动报 warn 时用的 放环境变量里面 亲测还有有一条warn 不过是在centos

ps:export HADOOP_COMMON_LIBNATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib