三、Hadoop集群安装
1. 下载hadoop软件
地址:http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.2/hadoop-2.7.2.tar.gz
2. 安装
hadoop的安装相对来说很简单,只需要解压,并添加环境变量即可。
2.1 解压
tar zxvf hadoop-2.7.2.tar.gz
将hadoop的路径添加到环境变量中,
我的hadoop安装目录为
/home/hadoop/package/hadoop-2.7.2 // 根据个人设置而定
2.2 设置环境变量
sudo vim /etc/profile
添加如下内容:
export HADOOP_HOME=/home/hadoop/package/hadoop-2.7.2
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
使修改立刻生效
source /etc/profile
2.4 Hadoop 配置
所有的配置都在/hadoop-2.7.2/etc/hadoop/目录下完成, 具体每个配置文件的含义在后续的开发过程中会进行解释和说明。
2.4.1 配置slaves
vim slaves
添加slave机器,测试集群中只有两台slave,如下:
slave1
slave2
2.4.2 在hadoop-env.sh 和yarn-env.sh中配置java路径
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_91 // 后面的地址根据自己系统进行修改
找到上面那个地方,修改后面java的地址
2.4.3 修改core-site.xml配置
打开core-site.xml文件,初始状态下,文件内只有一些注释,没有具体的设置,添加一下内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/package/hadoop-2.7.2/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
</configuration>
备注:前两个设置是必须的,后面可以不加。
2.4.4 修改hdfs-site.xml配置
打开hdf-site.xml文件,默认状态没有其他配置,添加一下内容:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/package/hadoop-2.7.2/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/package/hadoop-2.7.2/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
2.4.5 修改map-red.xml配置
初始时,/etc/hadoop/目录下没有这个文件,只有它的模板文件,mapred-site.xml.template,那么需要复制出来这个文件,
cp mapred-site.xml.template mapred-site.xml
打开文件,添加一下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
2.4.5 修改yarn-site.xml 配置
打开yarn-site.xml,添加一下内容:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
以上操作就是对三台hadoop集群的简单配置,现在还不能测试集群,因为另外两台机器还没有创建,等我们安装完所有的配置之后,选择virtualbox clone命令就可以得到出IP以外完全一样的机器了。
转载请注明出处:http://www.jianshu.com/p/d54528d6d513
网友评论