前言

本集群有两台机器

• master 172.16.15.18
• slave1 172.16.15.218

__ 默认已完成JDK的安装 __

准备工作

• 为两台电脑新建hadoop用户

#添加hadoop用户
useradd hadoop
passwd hadoop
(按照提示输入密码)

并将其加入sudoers，方便后续配置操作，可参考用户不在sudoers文件中的解决方法

• 下载Hadoop2.6.4

cd ~/
mkdir tools
cd tools
wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
tar -xvzf hadoop-2.6.4.tar.gz.1
sudo mv hadoop-2.6.4 /opt
chown -R hadoop:hadoop hadoop-2.6.4

配置hosts

vim /etc/hosts

添加如下两行

172.16.15.18 master
172.16.15.218 slave1

修改hostname

vim /etc/sysconfig/network

对两台电脑分别添加

HOSTNAME=master

HOSTNAME=slave1

互相ping通即为成功

ping master
ping slave1

配置SSH免密码登陆

1. 以hadoop身份登陆电脑

查看/etc/ssh/sshd_config，确保公钥登陆模式被打开

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

2. 建立公钥私钥对

#若没有先mkdir
cd ~/.ssh 
ssh-kengen -t rsa

一路回车，最终生成id_rsa,id_rsa.pub两个文件

3. 两台主机交换公钥

[hadoop@slave1] scp id_rsa.pub  hadoop@master:~/.ssh/id_rsa.pub_sl
[hadoop@master] cat id_rsa.pub_sl >> authorized_keys 
[hadoop@master] cat id_rsa.pub >> authorized_keys 

将合并后的authorized_keys拷回slave1

scp authorized_keys  hadoop@slave1:~/.ssh/

现在将两台机器 .ssh/ 文件夹权限改为700，authorized_keys文件权限改为600（or 644）

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

测试是否能互相ssh登陆

ssh master
ssh slave1

配置hadoop

1 配置hadoop环境变量

编辑/etc/profile
文件，在末尾添加如下两行：

export HADOOP_HOME=/opt/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin

重启/etc/profile

source /etc/profile

一共有7个文件要修改：
$HADOOP_HOME/etc/hadoop/core-site.xml

$HADOOP_HOME/etc/hadoop/hdfs-site.xml

$HADOOP_HOME/etc/hadoop/mapred-site.xml

$HADOOP_HOME/etc/hadoop/yarn-site.xml

$HADOOP_HOME/etc/hadoop/slaves

最后将配置好的hadoop拷贝到slave1上：

scp -r hadoop-2.6.4/ hadoop@slave1:~/opt/

配置后工作

格式化namenode

$SPARK_HOME/bin/hadoop namenode -format

启动hdfs

sbin/start-dfs.sh