美文网首页
1.简单集群规划

1.简单集群规划

作者: 猫头木有鹰 | 来源:发表于2018-01-26 13:42 被阅读0次

    1.集群规划

    规划.png

    2.集群搭建步骤:

    1.linux集群环境准备

    • 三节点(Centos6.9x64) 配置NAT网络制式
      ①.切换NAT模式,创建自定义子网

      (注:绝大多数情况第一步就能够解决问题,图例只说明配置方式,具体网段使用可能会有改变) nat.jpeg
      ②.虚拟机配置NAT模式下创建的子网 nat2.jpeg

      ③.windows VMnet8 适配器重启,适配NAT自定义的子网


      nat3.jpeg
    • 修改ip(克隆机mac地址冲突解决);
      vim /etc/sysconfig/network-scripts/ifcfg-eth0

    DEVICE=eth0 // 网卡
    TYPE=Ethernet 
    UUID=05392599-a739-4d03-8453-4747d559204b // 网络节点标识
    ONBOOT=yes // 开机启动网卡
    NM_CONTROLLED=yes // 运行非root用户控制
    PREFIX=24
    BOOTPROTO=static // 静态
    HWADDR=00:0c:29:02:23:f4 // mac地址
    IPADDR=192.168.1.104      // ip
    NETMASK=255.255.255.0   // 子网掩码
    GATEWAY=192.168.1.2    // 网关
    DNS1=192.168.1.2          // 域名解析服务器
    DNS2=223.5.5.5
    DEFROUTE=yes   
    IPV6INIT=no          // 关闭ipv6
    

    注:对应克隆机存在mac冲突问题,手动生成新mac地址,然后替换即可;

    vim /etc/udev/rules.d/70-persistent-net.rules mac.jpeg vim /etc/sysconfig/network-scripts/ifcfg-eth0 修改HWADDR, 重启生效
    • 修改hosts、hostname;
      vim /etc/hosts
    192.168.1.102 hadoop102
    192.168.1.103 hadoop103
    192.168.1.104 hadoop104
    

         vim /etc/sysconfig/network

    HOSTNAME=hadoop10X
    
    • 创建普通用户admin,并开放sudo权限;
      useradd admin
      passwd admin (密钥)
      vim /etc/sudoers
    root    ALL=(ALL)       ALL
    admin   ALL=(ALL)       NOPASSWD:ALL
    
    • 配置admin用户ssh免密登录(普通用户操作);
      su - admin
      ssh-keygen -t rsa
      ssh-copy-id -i admin@hadoop10X (SecureCRT Select All Session)
      ssh hadoop10X (免密切换测试)
    • 关闭防火墙与Selinux
      service iptables stop
      chkconfig iptables off
      vim /etc/sysconfig/selinux
    SELINUX=disabled
    
    • 配置集群内网NTP(时间同步服务);
      方案1:快速同步集群时间
         service ntpd stop # 停止所有节点的ntpd服务
         ntpd hadoop104 # hadoop102~3 都手动向hadoop104同步时间
         service ntpd start # 重启ntpd 时间同步服务
         clock --systohc # 系统时钟同步给硬件时钟

        方案2:配置集群内网时间同步服务
          详见 1.1 ntp 集群时间同步服务

    ntp.jpeg

    2.源码编译hadoop2.7.2-src,添加lzo,snappy压缩模块;

          详见: 1.3 hadoop-2.7.2-src源码编译(snappy)

    3.简单集群搭建(hadoop102上普通用户admin)

          详见: 1.4 集群搭建

    • mr案例演示

    4.高可用集群搭建

    • hdfs 高可用
    • yarn 高可用

    5.节点动态退役与服役

    6.常用命令

    7.常用API

    8.hdfs读写流程

    9.yarn作业提交流程

    10.机架感知

    11.文件归档

    12.快照

    13.回收站

    相关文章

      网友评论

          本文标题:1.简单集群规划

          本文链接:https://www.haomeiwen.com/subject/lcwiaxtx.html