美文网首页
CentOS7 hadoop集群配置-1

CentOS7 hadoop集群配置-1

作者: 梅村_9643 | 来源:发表于2021-07-12 15:35 被阅读0次

一,准备三台centos7 服务器

vi  /etc/hosts

三台都输入

192.168.12.137 bigdata01
192.168.12.138 bigdata02
192.168.12.139 bigdata03

二,创建免密码登录

1)设置本机的ssh免密登录

在bigdata01执行

ssh-keygen -t rsa

一路回车
cat到 authorized_keys 文件

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
2)把bigdata01的 authorized_keys 拷贝到bigdata02/03上
scp ~/.ssh/authorized_keys bigdata02:/data
3) 把bigdata01的authorized_keys put到 在bigdata02/03本地上

在 bigdata02 和bigdata03上执行

cd /data/
cat authorized_keys >>~/.ssh/authorized_keys

三,每台设置时间同步

1 centos 设置时间
ntpdate -u ntp.sjtu.edu.cn
which ntpdate
添加 到定时任务
vi /etc/crontab  
/usr/sbin/ntpdate -u  ntp.sjtu.edu.cn
* * * * * root /usr/sbin/ntpdate -u  ntp.sjtu.edu.cn

四,配置java 环境和 hadoop环境

配置 java 环境请参考 https://www.jianshu.com/p/dca6fa6d7aa4

1) 配置 hadoop
cd data/tools
 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2-site.tar.gz

减压

tar -zxvf hadoop-3.2.2-site.tar.gz

配置 hadoop环境变量

export HADOOP_HOME=/data/tools/hadoop-3.2.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
2)修改hadoop 配置文件

修改 core-site.xml

cd /data/tools/hadoop-3.2.0/etc/hadoop

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
   </property>
   #开启删除回收站
   <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata01:50090</value>
    </property>
   #关闭权限校验慎用,测试环境可以这样整,
   <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
   <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata01</value>
    </property>
    #配置所有节点日志集中到主节点
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log.server.url</name>
        <value>http://bigdata01:19888/jobhistory/logs/</value>
    </property>
</configuration>

配置 workes

vi  workes
    bigdata02
    bigdata03
3).格式化hadoop

注意只能执行一次

cd /data/tools/hadoop-3.2.0/bin
   hdfs namenode -format

如果非得再次执行 rm -rf /data/hadoop_repo/

4) 修改sh文件
cd /data/tools/hadoop-3.2.0/sbin

start-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

相关文章

网友评论

      本文标题:CentOS7 hadoop集群配置-1

      本文链接:https://www.haomeiwen.com/subject/vwqfpltx.html