配置环境：
ubuntu 14.0.4 +hadoop.2.7.1
1.设置用户sudo权限
chmod u+w /etc/sudoers
vim /etc/sudoers
在root ALL=(ALL) ALL添加
cms(这是我的用户名根据实际情况填写) ALL=(ALL) ALL
chmod u-w /etc/sudoers
2.设置静态IP
systems settings---network----wired---options
弹出框，选择ipv4 settings
地址为192.168.31.131（注意ip地址、网关、DNS等与自动方式的ip一致）
需设置的内容
3.安装jdk
4.配置另外两台机器
虚拟机--管理--克隆
选择（虚拟机中的当前状态--创建连接克隆）
设置静态ip，分别为192.168.31.132，192.168.31.133
5.集群环境配置
1）修改当前机器名称
修改三台机器里文件/etc/hostname里的值即可，修改成功后用hostname命令查看当前主机名是否设置成功。
一定要将图中该行注释掉，否则最后通过命令hdfs dfsadmin -report
查看 DataNode 是否正常启动时 Live datanodes 为 0 （个人在这个坑里捣鼓了好久）
特别注意
2）配置hosts文件
在所有机器
/etc/hosts文件后面加192.168.31.131 Master
192.168.31.132 Slave1
192.168.31.133 Slave2
ping 测试
Paste_Image.png
配置ssh免登录
1）三台机器安装ssh
2）Master机器利用ssh-keygen命令生成一个无密码密钥对。
在Master机器上执行以下命令：
ssh-keygen –t rsa
生成的密钥对：id_rsa（私钥）和id_rsa.pub（公钥），默认存储在/home/用户名/.ssh目录下。
查看"/home/用户名/"下是否有".ssh"文件夹，且".ssh"文件下是否有两个刚生产的无密码密钥对。
3）接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys查看是否成功
4）将公钥复制到slave1和slave2
在master上执行
ssh-copy-id -i ~/.ssh/id_rsa.pub slave2```
并且ssh slave1等测试。
####hadoop配置文件（路径hadoop.2.7.1/etc/hadoop）（在master上配置）
#####安装hadoop
1.在官网上下载hadoop-2.7.1.tar.gz
2.解压：```tar -zxvf hadoop-2.7.1.tar.gz```
3.配置环境变量
打开/etc/profile
添加（连同java的环境变量，一起给出）：
```soure /etc/profile``` 让配置文件立即执行
####修改配置文件
这里我只把我的实例贴出来，经供参考，更多详细配置请参照官方文档
1.hadoop-env.sh
该文件是 hadoop运行基本环境的配置，需要修改的为 java虚拟机的位置。
故在该文件中修改 JAVA_HOME值为本机安装位置
The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
2.core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop</value> #记住该位置，为防止找不到该文件位置以及hadoop namenode -format不成功，每次在应在/opt新建一个hadoop目录
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
3.hdfs-site.xml
```<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop/datanode</value>
</property>
<property>#该namenode属性在复制到slave中去时应删除
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop/namenode</value>
</property>
<property>#该namenode属性在复制到slave中去时应删除
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>#该namenode属性在复制到slave中去时应删除
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
4.mapred-site.xml
这个是mapreduce 任务的配置，由于 hadoop2.x使用了yarn 框架，所以要实现分布式部署，必须在 mapreduce.framework.name属性下配置为yarn。
版本中/etc/hadoop/ 中找不到 mapred-site.xml文件，默认情况下，/hadoop-2。7.1/etc/hadoop/文件夹下有 mapred.xml.template文件
复制并重命名
cp mapred-site.xml.template mapred-site.xml
编辑器打开此新建文件
vi mapred-site.xml
然后编辑mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>Execution framework set to Hadoop YARN.</description>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
<description>MapReduce JobHistory Server host:port, default port is 10020</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
<description>MapReduce JobHistory Server Web UI host:port, default port is 19888.</description>
</property>
</configuration>
jobhistory是 Hadoop自带了一个历史服务器，用于记录 Mapreduce历史作业。默认情况下， jobhistory没有启动，可用手动通过命令启动，如下所示：
Shell代码
``jobhistory-daemon.sh start historyserver```
5.yarn-site.xml
该文件为yarn 框架的配置
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>
6.slaves
该文件里面保存所有slave节点的信息，hdfs
写入以下内容（hosts里从机的主机名）：
Slave1
Slave2
7.向节点服务器slave1、slave2复制我们刚刚在master服务器上配置好的hadoop
scp -r hadoop-2.7.1 slave1
scp -r hadoop-2.7.1 slave2
配置slave1、slave2
1）配置环境变量，/etc/profile 与上面master配置一致
2）删除hdfs-site中的多余属性（在前面已标注）
启动hadoop
在每次namenod之前，最好
在三个机器/opt下 先删除临时文件 hadoop
然后新建 hadoop/
修改权限：
chown -R cms hadoop
避免
hadoop namenode -format 失败
1)执行hadoop namenode -format
出现
则成功格式化HDFS
如果不成功，执行上述删除临时文件夹等步骤再格式化
2）在master上启动集群
start-dfs.sh
start-yarn.sh
3)用jps检验各后台进程是否成功启动
master
slave1
slave2
缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令
hdfs dfsadmin -report查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。例如我这边一共有2 个 Datanodes：
master:8088能显示你的集群状态
master: 50070能进行一些节点的管理
#######向hadoop集群系统提交第一个mapreduce任务
1)hadoop fs -mkdir /tmp 在虚拟分布式文件系统上创建一个测试目录tmp
2)hadoop fs -put 1.txt /tmp/1.txt
将当前目录下的带有任意单词的文件复制到虚拟分布式文件系统中
例如，我的文件
3)hadoop fs -ls /tmp查看文件系统中是否存在我们所复制的文件
4)复制hadoop安装目录下的mapreduce example 的jar 包到/opt目录下
cp /hadoop-2.7.1/share/mapreduce/hadoop-mapreduce-examples-2.7.1.jar /opt5)运行单词计数mapreduce任务
hadoop jar /opt/hadoop-mapreduce-examples-2.7.1.jar wordcount /tmp/1.txt /tmp/1_out
运行成功
4）查看任务输出
li 1
ou 2
rt 2
we 3```
至此，集群搭建成功
网友评论