美文网首页大数据平台搭建
搭建大数据平台系列(0)-机器准备

搭建大数据平台系列(0)-机器准备

作者: 抹布先生M | 来源:发表于2018-08-08 08:31 被阅读2次

    0. 前期规划

    假设现在有四台机器,各自ip如下:

    192.168.1.201
    192.168.1.202
    192.168.1.203
    192.168.1.204
    

    安装下面统一要求进行重装系统:

    1. 每台机器的系统为:CentOS-6.5-x86_64
    2. 每台机器的磁盘分区为:
    /boot      : 系统引导分区
    /          : 系统安装区
    /data       : 系统数据分区
    (swap分区尚未建立,待机器内存不足需求时再建立)
    
    1. 每台机器上安装的都是Mininal Desktop版本
    2. 每台机器的主机名(hostname)分别为:master、slave1、slave2、slave3
    3. 每台机器的root密码都是:master
    4. 每台机器上建立的第一个非root用户都为:hadoop,密码为:hadoop
    5. 非root用户在centos中获取sudo权限的命令:
    [hadoop@slave3 ~]$ su -   #切换到root用户,需要输入root密码
    [root@slave3 ~]# visudo -f /etc/sudoers
    ## Allow root to run any commands anywhere
    root    ALL=(ALL)       ALL
    在上面这条文字下加上如下:
    hadoop  ALL=(ALL)       ALL
    

    这样配置后,hadoop用户可以使用sudo命令了

    1. 修改每台机器的/etc/hosts文件,如:
    [root@slave3 ~]$ sudo vi /etc/hosts
    192.168.1.201 master
    192.168.1.202 slave1
    192.168.1.203 slave2
    192.168.1.204 slave3
    

    9.防火墙设置

    • 因为4台机器组成的大数据平台小集群需要互相访问对方的多个端口,需要在防火墙中打开这些端口的访问(如果未打开的话),当然最方便的就是把每台机器上的防火墙关闭了。
    [hadoop@master  ~]$  sudo  service  iptables  start     #打开防火墙
    [hadoop@master  ~]$  sudo  service  iptables  status    #查看防火墙
    [hadoop@master  ~]$  sudo  service  iptables  stop      #关闭防火墙
    (注意:防火墙操作时需要root权限的,非root用户不使用sudo的话,不会报错,但操作无结果)
    修改防火墙设置(红色为新增配置:开放2000-6000,7000以上的端口):
    [hadoop@master ~]$ sudo  vim  /etc/sysconfig/iptables
    # Firewall configuration written by system-config-firewall
    # Manual customization of this file is not recommended.
    *filter
    :INPUT ACCEPT [0:0]
    :FORWARD ACCEPT [0:0]
    :OUTPUT ACCEPT [0:0]
    -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
    -A INPUT -p icmp -j ACCEPT
    -A INPUT -i lo -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 2000:6000 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 7000: -j ACCEPT
    -A INPUT -j REJECT --reject-with icmp-host-prohibited
    -A FORWARD -j REJECT --reject-with icmp-host-prohibited
    COMMIT
    
    保存上面的文件后,需要重启防火墙,让配置生效!
    [hadoop@master  ~]$  sudo  service  iptables  restart     #重启防火墙
    
    

    相关文章

      网友评论

        本文标题:搭建大数据平台系列(0)-机器准备

        本文链接:https://www.haomeiwen.com/subject/vxvavftx.html