美文网首页
Hadoop/Spark集群时间同步问题解决方法

Hadoop/Spark集群时间同步问题解决方法

作者: 0过把火0 | 来源:发表于2017-10-22 22:56 被阅读102次

    生产集群不会每台都有访问外网的权限,一般管理员会有master的外网访问权限,为了保证hadoop或spark程序的正确运行,保证节点间的时间同步是很有必要的,因此需要设置局域网内次节点与master时间同步。
    1) 一般系统安装时的时区都会选择上海,如果需要重新选择时区,那么在master下敲入tzselect进行时区选择。
    2) Linux一般都是安装了ntp的,如果没有安装可以用yum install ntp来安装一下(这个安装应该直接在系统的yum库中可以找到,因此不需要网络的),每台节点都需要确保其安装。
    3) chkconfig ntpd on命令设置ntp永久开启
    4) 接下来在master上需要进行配置文件的修改。
    首先停掉ntpd服务:service ntpd stop
    vim /etc/ntp.conf
    将文件修改如下:

    # Permit all access over the loopback interface.  This could
    # be tightened as well, but to do so would effect some of
    # the administrative functions.
    restrict 127.0.0.1 
    restrict -6 ::1
    restrict 192.168.130.0 mask 255.255.255.0 nomodify notrap
    
    # Hosts on local network are less restricted.
    #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
    
    # Use public servers from the pool.ntp.org project.
    # Please consider joining the pool (http://www.pool.ntp.org/join.html).
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    server 210.72.145.44 perfer
    server 202.112.10.36
    server 59.124.196.83
    server 192.168.130.56
    

    1> restrict 192.168.130.0 mask 255.255.255.0 nomodify notrap 此处修改的意思为处于192.168.130网段的全部ip都可以与master来设置时间同步。
    2> 对于新加的几个server,其目的如下注释:
    server 210.72.145.44 perfer #国家时间校准中心
    server 202.112.10.36 #校准备用服务器
    server 59.124.196.83 #校准备用服务器
    server 192.168.130.56 #局域网NTP服务器IP,也就是主节点

    配置好后,master中root下启动ntpd:service ntpd start
    设置每天同步一次:crontab –l

    5) 次节点同步
    次节点先停掉ntpd服务,然后输入:ntpdate master_host_name,然后启动ntpd,此时输入date命令,看看时间是否正常了,同时可以通过设置crontab –l来使其每天都同步一次。全部的节点都这么同步一下。

    我的博客 : https://NingSM.github.io

    转载请注明原址,谢谢

    相关文章

      网友评论

          本文标题:Hadoop/Spark集群时间同步问题解决方法

          本文链接:https://www.haomeiwen.com/subject/tcanuxtx.html