软件环境
-
java version "1.8.0_181"
-
Apache Hadoop 3.2.0
-
CentOS Linux release 7.4.1708 (Core)
查看 JDK 与 Hadoop 版本匹配
1. Linux 相关设置
1.1 设置静态 IP
CentOS 7下面配置静态IP
https://www.linuxidc.com/Linux/2017-10/147449.htm
1.2 设置主机名与 IP 地址映射
修改主机名和 IP 地址映射
vi /etc/hostname，修改主机名（如，删掉原有内容，命名为 hadoop）
systemctl restart network，重启网卡
ping hadoop，ping 通证明成功
参考链接：
https://blog.csdn.net/sheldonharris/article/details/81287450
https://blog.csdn.net/q18810146167/article/details/62224082
https://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_linux_043_hostname.html
1.3 免密码 ssh 设置
ssh-keygen -t rsa，然后一路回车即可
cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys，复制到公共密钥中
ssh localhost，测试
http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html#%E7%9B%AE%E7%9A%84
扩展阅读：
DSA与RSA的区别：https://blog.csdn.net/buaaroid/article/details/49428653
1.4 防火墙设置
# 查看防火墙状态
systemctl status firewalld
systemctl is-active firewalld
# 启动防火墙
systemctl start firewalld
# 停止防火墙
systemctl stop firewalld
# 查看IP配置
more /etc/hosts
2. JDK 安装
编辑/etc/profile文件，在文件末尾添加以下内容
# 设置 jdk 环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_152
export PATH=$JAVA_HOME/bin:$PATH
参考链接：
3. Hadoop 安装
3.1 下载 Hadoop
-
Hadoop 安装地址：/usr/local/hadoop/hadoop-3.2.0
# 解压 Hadoop 到指定文件夹
tar -zxf hadoop-3.2.0.tar.gz -C /usr/local/hadoop
# 查看 Hadoop 版本信息
cd /usr/hadoop/local/hadoop-3.2.0
./bin/hadoop version
4. Hadoop 配置
4.1 建立目录
# 在 /usr/hadoop/ 目录下，建立 tmp、hdfs/name、hdfs/data 目录
mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/hdfs
mkdir /usr/local/hadoop/hdfs/data
mkdir /usr/local/hadoop/hdfs/name
4.2 设置环境变量
# 设置环境变量
vi /etc/profile
# set hadoop path
export HADOOP_HOME=/usr/hadoop/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin
# 使环境变量生效
source /etc/profile
# CentOS版本用
source ~/.bash_profile
4.3 修改 Hadoop 配置文件
配置以下 5 个文件：
hadoop-3.2.0/etc/hadoop/hadoop-env.sh
hadoop-3.2.0/etc/hadoop/core-site.xml
hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hadoop-3.2.0/etc/hadoop/mapred-site.xml
hadoop-3.2.0/etc/hadoop/yarn-site.xml
4.3.1 hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_152
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
另一种配置用户：
start-dfs.sh、stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
start-yarn.sh、stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
4.3.2 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI，文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
注：
- name 节点用 fs.defaultFS，不建议使用 fs.default.name；
- hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果 hdfs-site.xml 中不配置 namenode 和 datanode 的存放位置，默认就放在如下路径中。
NameNode
dfs.name.dir
预设值：${hadoop.tmp.dir}/dfs/name
DataNode
dfs.data.dir
预设值：${hadoop.tmp.dir}/dfs/data
参考链接：
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/core-default.xml
https://blog.csdn.net/scgaliguodong123_/article/details/44498173
4.3.3 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数，配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
4.3.4 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.3.5 yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5. Hadoop 启动及测试
5.1 格式化 namenode
cd /usr/local/hadoop/hadoop-3.2.0
./bin/hdfs namenode -format
成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。
5.2 启动 Hadoop
cd /usr/local/hadoop/hadoop-3.2.0/sbin
./start-all.sh
5.3 验证启动是否成功
jps
出现如下进程，启动成功
NodeManager
Jps
DataNode
NameNode
SecondaryNameNode
ResourceManager
参考链接：
(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)
https://blog.csdn.net/coffeeandice/article/details/78879151
5.4 浏览器访问管理页面
Namenode information: http://hadoop1:9870
All Applications: http://hadoop1:8088
HDFS NameNode web interface: http://hadoop1:8042
6. MapReduce 测试自带实例 wordcount
6.1 创建测试文件
6.2 上传测试文件到 hdfs
# 查看 hdfs 上的目录
hadoop fs -ls /
# 创建input目录，源数据的存放地
hadoop fs -mkdir /input
# 如果有output目录，删除；把结果集输出到这里，事先不能存在
hadoop fs -rm -r /output
# 把提前准备好的文本文件上传到 hdfs 的 /input 目录
hadoop fs -put /home/hadoop/data/*.txt /input
6.3 执行程序 WordCount
cd /usr/local/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.2.0.jar wordcount /input /output
# 查看 hdfs 上 /output 生成的结果
hadoop fs -ls /output
# 输出词频统计结果
hadoop fs -cat /output/part-r-00000
注：
MapReduce操作出现错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题解决方法
https://blog.csdn.net/qq_41684957/article/details/81710190
参考链接：
用浏览器不能访问hadoop集群！！！！
https://blog.csdn.net/w3045872817/article/details/74204604
通过页面验证hadoop是否安装成功的方法
https://blog.csdn.net/tsundere_ning/article/details/79590871
执行shell脚本报错 '\357\273\277': command not found 解决办法
https://blog.csdn.net/joeyon1985/article/details/39345939
https://huoding.com/2011/05/14/78
hadoop3.0.0没有conf文件夹怎么办？？
网友评论