官方单机配置地址：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html
1、设置主机名称
#hostname #查看主机名,显示localhost
#hostnamectl set-hostname bigdata #设置主机名为bigdata
#hostname #关闭当前sessin重新进入，查看主机名是否设置成功
2、解压并启动hdfs
#cd /opt/software/hadoop-2.8.1-src/hadoop-dist/target
#mv hadoop-2.8.1.tar.gz /opt/software/
#tar -xvzf hadoop-2.8.1.tar.gz
#vi /etc/profile
export HADOOP_HOME=/opt/software/hadoop-2.8.1
export PATH=$HADOOP_HOME/bin:$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MVN_HOME/bin:$JAVA_HOME/bin:/opt/mysql/mysql-5.7.22-el7-x86_64/bin:$PATH
# source /etc/profile
#cd ~ #配置免密登陆开始
#rm -rf .ssh
#ssh-keygen #回车3次不用输入任何字符
# cat id_rsa.pub >> authorized_keys #免密配置结束
#cd /opt/software/hadoop-2.8.1/etc/hadoop
#echo $JAVA_HOME
#vi hadoop-env.sh
修改export JAVA_HOME=/usr/local/java/jdk1.8.0_171
#cd /opt/software/hadoop-2.8.1/sbin
#hdfs namenode -format #格式化hdfs,否则namenode无法启动
#./start-dfs.sh #启动hdfs,初次使用ssh免密登陆需要输入yes
说明：namenode、datanode的默认启动地址都是localhost，secondarynamenode的默认启动地址是0.0.0.0(表示任意IP地址都可以访问)，为方便集群管理和用户访问，需要将启动地址改为IP地址。
3、修改配置文件
# cd /opt/software/hadoop-2.8.1/sbin
# ./stop-dfs.sh #停止dfs
# cd /opt/software/hadoop-2.8.1/etc/hadoop
# vi core-site.xml
<!--修改namenode启动IP地址-->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.26:9000</value>
</property>
</configuration>
# vi hdfs-site.xml
<!--修改datenode备份数，策略为小于主机数量，集群状态默认为3分，单机为1份-->
<configuration>
<property>
<name>dfs.replication<name>
<value>1</value>
</property>
<!--修改secondarynamenode启动IP地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.1.26:50090</value>
</property>
<property>
</property>
<name>dfs.namenode.secondary.https-address</name>
<value>192.168.1.26:50091</value>
</property>
</configuration>
# vi slaves
192.168.1.26 <!--配置datanode的启动IP地址，集群以逗号隔开-->
# ../../sbin/start-dfs.sh
#jps
4、配置YARN
# cp mapred-site.xml.template mapred-site.xml
# vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
</value>yarn</value>
</property>
</configuration>
# vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
# sh start-yarn.sh #启动yarn
5、打开yarn和hdfs UI界面
#sevicectl status firewalld.service #查看防火墙状态
#servicectl stop firewalld.service #关闭防火墙
关闭虚拟机防火墙：
关闭命令： service iptables stop
永久关闭防火墙：chkconfig iptables off
两个命令同时运行，运行完成后查看防火墙关闭状态
service iptables status
1 关闭防火墙—–service iptables stop
2 启动防火墙—–service iptables start
3 重启防火墙—–service iptables restart
4 查看防火墙状态–service iptables status
5 永久关闭防火墙–chkconfig iptables off
6 永久关闭后启用–chkconfig iptables on
在浏览器输入IP：50070打开hdfs UI，192.168.1.26：50070
在浏览器输入IP：8088，打开yarn UI
6、运行mapreduce-example代码，验证mapreduce可运行
# cd /opt/software/hadoop-2.8.1
# find ./ -name "*example*"
# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 2 5
job_1526747733662_0001：job_unix时间戳_job号(第几个job)
网友评论