本文章仅作为个人笔记
一：Hadoop官网：http://hadoop.apache.org
二：前期准备工作：
生成密钥：
运行 ssh-keygen –t dsa 连续回车
此时会生成id_dsa和id_dsa.pub文件，及私钥和公钥，运行 cat id_dsa.pub >> authorized_keys 将公钥信息传入authorized_keys文件即可完成免密自登陆。运行 ssh localhost 可进行验证。
安装 jdk/vim/tar
yum install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64 –y
yum install vim –y
yum install tar.x86_64 -y
三：Hadoop安装：
Hadoop下载：
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz
解压Hadoop：
mkdir /bigdata
tar –zxvf hadoop-3.1.0.tar.gz –C /bigdata/
四：修改Hadoop配置文件：
1.配置hadoop引用的java环境
运行 rpm -qa | grep java 查看所有安装的java应用
查看所有安装的java应用
找到带openjdk-devel的那个选项，运行 rpm -ql java-1.8.0-openjdk-devel-1.8.0.131-3.b12.el7_3.x86_64 | grep /bin/java 找到java的安装位置
找到java的安装位置
vim /bigdata/hadoop-3.1.0/etc/hadoop/hadoop-env.sh 添加环境地址
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.el7_3.x86_64
添加javahome
2.配置hadoop核心配置
vim /bigdata/hadoop-3.1.0/etc/hadoop/core-site.xml
<!--配置hdfs的namenode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<!-- 配置Hadoop运行时产生数据的存储目录，不是临时数据 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/bigdata/tmp</value>
</property>
3.配置指定HDFS存储数据的副本数据量
vim /bigdata/hadoop-3.1.0/etc/hadoop/hdfs-site.xml
<!-- 指定HDFS存储数据的副本数据量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.指定mapreduce编程模型运行在yarn上
vim /bigdata/hadoop-3.1.0/etc/hadoop/mapred-site.xml
<!-- 指定mapreduce编程模型运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.指定yarn的resourcemanager的地址
vim /bigdata/hadoop-3.1.0/etc/hadoop/yarn-site.xml
<!-- 指定yarn的resourcemanager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>127.0.0.1</value>
</property>
<!-- mapreduce执行shuffle是获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
6.更改hdfs启动和关闭文件脚本（3.0及以上配置，3.0以下请自动忽略）
vim /bigdata/hadoop-3.1.0/sbin/start-dfs.sh
vim /bigdata/hadoop-3.1.0/sbin/stop-dfs.sh 加入如下内容：
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
7.更改yarn启动关闭脚本（3.0及以上配置，3.0以下请自动忽略）
vim /bigdata/hadoop-3.1.0/sbin/start-yarn.sh
vim /bigdata/hadoop-3.1.0/sbin/stop-yarn.sh 加入如下内容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
五：初始化并启动
运行 /bigdata/hadoop-3.1.0/bin/hdfs namenode -format 初始化namenode出现如下标识（has been successfully formatted.）则为初始化成功，失败的自行百度 。
运行 /bigdata/hadoop-3.1.0/sbin/start-all.sh 启动所有服务，运行完可再运行jps看是否启动成功，成功会多出NodeManager NameNode SecondaryNameNode DataNode ResourceManager
访问服务器9870端口（例：http://192.168.64.132: 9870）可观察当前Hadoop状态（2.6.5为50070端口） Live Nodes 可以查看存活节点及hdfs的状态。
访问服务器8042端口（例：http://192.168.64.132: 8042）可查看当前yarn管理界面（2.6.5为8088）
至此Hadoop单机伪分布式搭建完毕
如果出现namenode无法启动，将/bigdata/tmp/dfs/name/current/VERSION 的clusterID值复制到/bigdata/tmp/dfs/data/current/VERSION 中在重启便好
网友评论