一,准备三台centos7 服务器
vi /etc/hosts
三台都输入
192.168.12.137 bigdata01
192.168.12.138 bigdata02
192.168.12.139 bigdata03
二,创建免密码登录
1)设置本机的ssh免密登录
在bigdata01执行
ssh-keygen -t rsa
一路回车
cat到 authorized_keys 文件
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
2)把bigdata01的 authorized_keys 拷贝到bigdata02/03上
scp ~/.ssh/authorized_keys bigdata02:/data
3) 把bigdata01的authorized_keys put到 在bigdata02/03本地上
在 bigdata02 和bigdata03上执行
cd /data/
cat authorized_keys >>~/.ssh/authorized_keys
三,每台设置时间同步
1 centos 设置时间
ntpdate -u ntp.sjtu.edu.cn
which ntpdate
添加 到定时任务
vi /etc/crontab
/usr/sbin/ntpdate -u ntp.sjtu.edu.cn
* * * * * root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn
四,配置java 环境和 hadoop环境
配置 java 环境请参考 https://www.jianshu.com/p/dca6fa6d7aa4
1) 配置 hadoop
cd data/tools
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2-site.tar.gz
减压
tar -zxvf hadoop-3.2.2-site.tar.gz
配置 hadoop环境变量
export HADOOP_HOME=/data/tools/hadoop-3.2.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
2)修改hadoop 配置文件
修改 core-site.xml
cd /data/tools/hadoop-3.2.0/etc/hadoop
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop_repo</value>
</property>
#开启删除回收站
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata01:50090</value>
</property>
#关闭权限校验慎用,测试环境可以这样整,
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata01</value>
</property>
#配置所有节点日志集中到主节点
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://bigdata01:19888/jobhistory/logs/</value>
</property>
</configuration>
配置 workes
vi workes
bigdata02
bigdata03
3).格式化hadoop
注意只能执行一次
cd /data/tools/hadoop-3.2.0/bin
hdfs namenode -format
如果非得再次执行 rm -rf /data/hadoop_repo/
4) 修改sh文件
cd /data/tools/hadoop-3.2.0/sbin
start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
网友评论