安装设计图
mini1 namenode zkfc（zookeeper） > start-dfs.sh
mini2 namenode zkfc
mini3 resourcemanager > start-yarn.sh
mini4 resourcemanager > start-yarn.sh
mini5 datanode nodemanager journal node zookeeper
>hadoop-daemons.sh start journalnode
mini6 datanode nodemanager journal node zookeeper
mini7 datanode nodemanager journal node zookeeper
mini8 datanode nodemanager
mini9 datanode nodemanager
mini10 datanode nodemanager
上传安装hadoop文件到指定服务器
创建文件夹
解压到指定的文件夹中
进入到配置文件中
修改配置文件
配置文件详解
yarn-site.xml
1:指定集群中最大的管理者
2:集群管理者和zk的链接
3:子节点的mapreduce版本
core-site.xml
1：namenode的访问的逻辑路径
2：元数据的路径
3：指定Zk集群的位置
hadoop-env.sh
配java的运行环境即可
hdfs-site.xml
1:指定namenode的rpc通信和http通信地址
2:指定namenode的日志元数据存在journalnode上的存放位置
3:指定JournalNode在本地磁盘存放数据的位置
4:开启NameNode失败自动切换
5:配置失败自动切换实现方式
6:配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行
7:使用sshfence隔离机制时需要ssh免登陆
8:配置sshfence隔离机制超时时间
mapred-site.xml
1:指定mr框架为yarn方式
slaves
1:指定要启动的子节点
创建要放hadoop元数据的文件夹
放元数据文件夹的位置
克隆多8台机 满足安装hadoop安装文件的要求
上传安装zookeeper文件到指定服务器
创建文件夹
解压文件到文件夹
进入到配置文件中
修改名字
修改配置文件
创建zk存放文件目录的地方
进入到zk存放文件目录的地方
从定向服务器编号到文件中
克隆两台
此处略
分别进入到zk的存放目录的地方从第项服务器编号到文件中
配置所有机器的免密登陆
此处略
配置hadoop环境
export HADOOP_HOME=/export/servers/hadoop-2.6.4
export PATH=${HADOOP_HOME}/bin:$PATH:${HADOOP_HOME}/sbin:$PATH
启动步骤
2.5启动zookeeper集群（分别在mini10、mini11、mini12上启动zk）
cd /hadoop/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status
2.6启动journalnode（分别在在mini10、mini11、mini12上执行）
hadoop-daemon.sh start journalnode
hadoop-daemons.sh start journalnode(这个命令可以一次性所有执行)
#运行jps命令检验，mini10、mini11、mini12上多了JournalNode进程
2.7格式化HDFS
#在mini1上执行命令:
hdfs namenode -format
//记得这里要把格式化后的发到另外一台服务器
scp -r hdpdata/ mini2:/home/hadoop/apps
2.8格式化ZKFC(在mini1上执行一次即可)
cd ~
hdfs zkfc -formatZK
2.9启动HDFS(在mini1上执行)
start-dfs.sh
2.10启动YARN(mini4)
start-yarn.sh
2.11启动YARN(mini5)
start-yarn.sh
2.11启动YARN(mini6)
start-yarn.sh
网友评论