美文网首页
Ambari2.6.2 和HDP2.6.5搭建Hadoop集群-

Ambari2.6.2 和HDP2.6.5搭建Hadoop集群-

作者: wk86 | 来源:发表于2019-06-20 09:50 被阅读0次

    前言

    由于测试使用,身边又无过多服务器资源。仅有几台凑合可以使用的台式PC拿来构建一个HDP的hadoop集群。下面为裸机安装过程,本次选择了CentOS7.5系统进行系统安装。(如何制作CentOS U盘启动安装盘请自行百度……)

    1.系统下载

    目前 CentOS7.5最为稳定
    国内镜像-->> CentOS-7-x86_64-DVD-1804.iso

    2.系统安装

    2.1调整网卡名称

    安装CentOS7.5唯一需要上心操作的地方:在如下界面停住


    image.png

    TAB键,按一下空格,添加net.ifnames=0,如下图红色部分所示所示

    image.png

    这里的net.ifnames=0是网卡命名规则,CentOS6与CentOS7默认的网卡命名规则如下:

    CentOS6  
    net.ifnames=0  
    biosdevname=1  
    CentOS7  
    net.ifnames=1  
    biosdevname=1
    

    也就是说一共有三种命名规则,默认,net.ifnames和biosdevname,其中biosdevname这种
    规则只适用与戴尔服务器,是根据戴尔服务器BIOS来命名网卡名称的,对与一般机器其开启(1)
    还是关闭(0),对网卡名称无影响。net.ifnames命名规则比较复杂,会根据机器的各种参数生成
    网卡名称,在CentOS7中通常是ensxxxxx。

    因此我们可以看到在CentOS7中net.ifnames默认是开启的,如果我们不给它手动关闭
    net.ifnames=0,就会导致我们装完系统网卡名称是ensxxx这种,关闭之后采用系统就采用
    默认的网卡命名规则,也就是固定eth0, eth1这种形式,便于我们后续管理。

    编辑完毕之后,按一下回车,此时系统会自动加载到语言选择界面,期间不要再按其它按键,接着
    按下面的图走。

    2.2配置时区,分区,关闭安全工具

    3.系统分区

    Hadoop集群使用
    /swap /boot / /data 即可

    更简单的分区方式为 /swap /boot / 即可


    • /swap 8G
      作用:类似于Windows的虚拟内存,在内存不够用时占用硬盘的虚拟内存来进行临时数据的存放,而对于linux就是swap分区
      分区建议:建议是物理内存大小的2倍,比如你电脑是4G的物理内存,swap分区可以是8G,内存小于4G的为内存的2倍;内存大于4G的和内存大小一致即可
      分区格式:swap格式

    • /boot目录 200M
      作用:系统启动分区一般200~500Mb
      分区格式:ext4

    • /根目录 200G
      分区格式:ext4
      /data分区 剩余空间
      作用:数据分区
      分区格式:ext4

    此处均使用了标准分区,使用LVM需要根据硬件配置、业务需求来决定


    4.网络配置

    参考 https://www.jb51.net/os/503770_all.html

    进入系统后,默认未开启网口

    1.ip地址配置
    vi /etc/sysconfig/network-scripts/ifcfg-eth0


    BOOTPROTO=none

    IPV6INIT=no

    ONBOOT=yes
    IPADDR=192.168.12.195
    NETMASK=255.255.254.0
    GATEWAY=192.168.12.1
    DNS1=221.228.255.1
    DNS2=112.4.0.55
    USERCTL=no
    NM_CONTROLLED=yes


    2.配置DNS
    vi /etc/resolv.conf

    nameserver 221.228.255.1
    nameserver 112.4.0.55

    CentOS7 查看IP、Gateway、DNS、Hostname

    1.查看IP

    ip addr
    

    2.查看路由

    ip route
    

    3.查看DNS

    cat /etc/resolv.conf
    

    4.查看主机名称

    hostname
    

    5.网络分配

    主机名称 IP MAC
    node1 192.168.12.191 1c:1b:0d:f9:02:70
    node2 192.168.12.192 1c:1b:0d:f7:e4:ae
    node3 192.168.12.193 b8:97:5a:b2:94:7b
    node4 192.168.12.194 b8:97:5a:ac:d4:ea
    node5 192.168.12.195 d0:17:c2:86:1b:0a

    Linux查看机器的配置信息

    查看内存信息

    cat /proc/meminfo
    

    核心数计算说明

    • 总核数 = 物理CPU个数 X 每颗物理CPU的核数
    • 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

    查看物理CPU个数

    cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
    

    查看每个物理CPU中core的个数(即核数)

    cat /proc/cpuinfo| grep "cpu cores"| uniq
    

    查看逻辑CPU的个数

    cat /proc/cpuinfo| grep "processor"| wc -l
    

    查看CPU信息(型号)

    查看CPU信息(型号

    cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c
    

    相关文章

      网友评论

          本文标题:Ambari2.6.2 和HDP2.6.5搭建Hadoop集群-

          本文链接:https://www.haomeiwen.com/subject/aborqctx.html