hadoop

hadoop_2.7.7     新手不要用新版本，最新版容易出错

1，安装javaJDK

2，下载hadoop安装包

3，配置hadoop

---

1.hadoop-env.sh

export JAVA_HOME=/../../jdk.8.0.65

---

2.core-site.xml

<!--指定HADOOP所使用的文件系统，HDFS主节点的地址-->

<property>

  <name>fs.defaultFS</name>

  <value>hdfs://node-1:9000</value>  #ip:9000

</property>

<!--指定HADOOP运行时产生的存储目录，默认/tmp/hadoop-${user.name}-->

<property>

  <name>hadoop.tmp.dir</name>

  <value>/../../hadoop-2.4.1/tmp</value>

</property>

---

3.hdfs-site.xml

<!--指定HDFS副本的数量-->

<property>

  <name>dfs.replication</name>

  <value>2</value>

</property>

<!--指定secondary在那个节点上面-->

<property>

  <name>dfs.namenode.secondary.http-address</name>

  <value>node-2:50070</value>

</property>

---

4.mapred-site.xml        将mapred-env.sh.template重命名为mapred-site.xm

<!--指定mr运行时框架，这里指定yarn上，默认是local-->

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

---

5.yarn-site.xml

<!--指定YARN的主节点的地址-->

<property>

  <name>yarn.resourcemanager.hostname</name>

  <value>node-1</value>

</property>

<!--nodemanager（从节点）上运行的附属服务。需要配置成mapreduce_shuffle，才可运行mapreduce程序的默认值-->

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

---

6.slaves

node-1

node-2

node-3  #节点地址

---

4，将hadoop添加到环境变量中

vi /etc/profile

  export HADOOP_HOME=/data1/hadoop-2.7.7

  export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

  export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

  export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

source /etc/profile

---

5，首次启动HDFS前，必须对其进行格式化操作（只格式主节点）

hdfs namenode -format 或者 hadoop namenode -format

jps有四个服务就启动成功了

NameNode/ResourceManager/DataNode/NodeManager

如果启动失败 参考

start-dfs.sh中添加

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh中添加

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

---

免密登录，主节点和从节点都要设置

ssh-keygen -t rsa  #一直回车，在~/.ssh下生成密钥

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ip地址