部分信息显示不全，可参照附件文件**********
1. 集群主机ip
192.168.1.190 master
192.168.1.191 slave1
2. centos系统准备工作
* 安装ssh: $ sudo yum install ssh
* 安装rsync: $ sudo yum install rsync//linux实现远程同步的软件
* ip配置
3. 服务器SSH无验证双向登陆打通配置
3.1. 配置服务器ip（此处省略）
3.2. 修改hosts
$ sudo vi /etc/hosts
3.3. 修改hostname
$ sudo vi /etc/hostname
修改network文件: $ sudo vi /etc/sysconfig/network
3.4. 重启网络
$ service network restart
3.5. 设置远程无密码登录
$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa //产生秘钥
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys //导入authorized_keys
$ cd ~/.ssh///切入master服务器 .ssh目录
$ scp authorized_keys hadoop@slave1:~/.ssh/authorized_keys_from_master
//进入slave1的.ssh目录，并将master目录下的authorized_keys存为slave1服务器目录/home/hadoop/.ssh/authorized_keys_from_keys文件
$ cat authorized_keys_from_master >> authorized_keys//文件追加到authorized_keys
$ chmod 600 authorized_keys //修改权限为-rw------- root读写权限
$ chmod 700 /home/hadoop/.ssh/ //修改.ssh权限为root获得所有操作权限
修改完成后各个服务器节点.ssh结构为：
authorized_keys文件权限为：
.ssh文件夹权限为：
$ sudo vi /etc/ssh/sshd_config//去掉下述红框注释，保存文件
$ service sshd restart //重启ssh服务
【注意】：以上操作根据每台Server情况动作重复进行。
3.6. 测试是否配置成功
本机三种ssh登录测试(localhost, ip ,hostname)
服务器节点相互ssh无密码登录连接测试
【配置要点总结】
>修改文件:hosts hostname network
>生成公钥私钥，节点相互拷贝
>配置sshd文件
>修改两个文件权限authorized_keys与.ssh
【参照文档】
http://www.aboutyun.com/thread-6487-1-1.html Hadoop伪分布安装过程：单机环境搭建指南
http://www.aboutyun.com/blog-3779-85.html CentOS6.4之图解SSH无验证双向登陆配置
4. 安装hadoop及配置hadoop集群
4.1. 下载hadoop
$ wget http://121.5.21.7/files/617800000336092D/www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
4.2. 修改文件权限
$ chmod 770 hadoop-2.7.3.tar.gz//-rwxrwx---
4.3. 解压文件并重命名
$ tar -zxvf hadoop-2.7.3.tar.gz
$ mv hadoop-2.7.3 hadoop //重命名
4.4. 安装jdk配置环境变量
亲，不会百度吧，太晚了小编就不写了，好困
4.5.修改配置文件列表< 7个>：
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
4.6. 修改hadoop配置文件
$ cd /home/hadoop/server/hadoop-2.7.3/etc/hadoop//切换到配置文件目录下
$ vi core-site.xml //修改sore-site.xml文件
【注意】
一定要注意目录一定要存在/home/hadoop/tmp/hadoop，文件夹权限为drwxrwxr-x
$ vi hdfs-site.xml //修改hdfs-site.xml文件
【注意】
文件路径是否存在,文件权限为drwxrwxr-x
$ vi hadoop-env.sh //修改java_home变量值
$ vi yarn-env.sh //修改java_home变量值
$ vi slaves //保存所有slave节点
$ cp mapred-site.xml.template mapred-site.xml
$ vi mapred-site.xml
$ vi yarn-site.xml
4.7 拷贝master-hadoop至slave1
$ scp -r /home/hadoop/server/hadoop hadoop@slave1:~/server/
4.8 修改配置文件脚本
4.9 添加配置环境变量
$ vi ~/.bashrc
$ source ~/.bashrc
4.10 启动hadoop(master节点)
$ cd /home/hadoop/server/hadoop/bin
$ hadoop namenode –format
4.11 启动hdfs
$ cd /home/hadoop/server/hadoop/sbin
$ start-all.sh
查看master有如下启动进程
查看slave1有如下启动进程
启动成功
【参照文档】
http://www.aboutyun.com/thread-7684-1-1.html
网友评论