大数据平台环境搭建准备

作者: enjoy_muming | 来源:发表于2019-01-17 20:29 被阅读4次

    1.虚拟机安装
    安装vmware,此处安装vmware14版本虚拟机,密匙易搜。
    2.linux环境准备
    下载linux系统镜像,下载地址:
    http://archive.kernel.org/centos-vault/6.5/isos/x86_64/
    cent-os下载巨细说明:
    https://blog.csdn.net/sinat_36564972/article/details/81560395
    此处鉴于本机原因选择cent-os-64位-6.5版本(现在一般服务server均使用7.4左右)
    3.linux系统(cent-os)于虚拟机安装
    关于安装cent-os有直接安装标准版,可以直接安装很容易,这样安装得到的是桌面版的cent-os系统,但是初始使用basic-server版的cent-os安装可以对该系统有个好的的了解,具体的安装本人借鉴于慕课网linux课程安装进行,也可以自行搜集进行linux系统的安装,安装需要注意的地方做一罗列。
    不使用标准简易安装,使用自定义安装,之后进入安装,需要注意的是如果是win10系统,需要进入dos界面进行简单的设置。


    下一步选择好下载好的cent-os系统镜像文件:

    此处注意,开始安装虚拟需要给自己所在盘符如e盘下留有足够的空间,为了文件以及后续大数据hadoop体系组件搭建,留40g以上空间为保证后续操作顺畅。
    win10系统创建虚拟机需要bois界面设置:
    https://blog.csdn.net/sinat_37390744/article/details/56498655
    安装前虚拟机创建好后,其中一般将处理器设置为多核,此处设置为4核,选择centos系统镜像文件网络选择桥接,简单的方法使得一台电脑上的多台虚拟机网络可以互通(桥接的意思是跟主机可以互相通信且是率属于同一网段,非主机路由出的子网段,如果是net模式是由主机路由出的子网),初始建议网络均选择桥接模式,桥接模式下在同一局域网下或者公司内网,之间均可以通信,但是需要注意如果公司网络大量用于开发使用,需要跟网络工程师沟通,看是否有闲置ip,否则造成ip冲突,网络不稳定,还会影响同时办公,也可以请教网络工程师进行协助,那样效率也会高很多,由于其它原因后续需要考虑与云主机进行通讯等,暂不巨细讨论。
    网络选择桥接,选择镜像文件,内存选择1g(1g一般够用,本机内存是8g,内存1g分给虚拟机)

    开机(快速切入虚拟机按F2)
    进入后选择第一项-->已经存在的系统-->之后检查选择skip跳过-->之后ok确认后进入centos的安装-->选择语言Chinese中文简体-->键盘美国英式标准-->设备选择基本存储设备默认-->默认之后选择安装模式-->此处为了节省存储空间-->使用自定义安装-->然后进行分区-->一般分区设置-->自定义分区-->必须根分区与boot分区,boot 200M home 2000M swap 1000M \ 根分选择剩余全部,作为最后需要的扩展分区(备存放逻辑分区)
    -->格式化-->选择basic server,之后按照引导重新启动ok,密码设置此处均设置的不少于6位,完成安装,上述主要步骤如上,巨细可以查找资料或者慕课网linux安装。

    安装成功后关机配置网络,在安装虚拟机后,进入网络适配器选项,修改vm8网络适配器,其网段与本机所在网络一致,此处再可以查找资料。



    修改vm8网络适配器后修改vmware的网路适配器




    网络适配器参考:

    配置好之后开机进入虚拟机。
    上述安装完毕,虚拟机有两个功能比较实用,快照和克隆,快照记录下虚拟机某一状态,所得到的快照文件也就便于另一台,或者多态虚拟机的安装,克隆可以将整个系统克隆下来,生成的文件比快照要大,快照使用的更多一些,快照下某一时刻的应用,之间进行切换,便于系统恢复以及相关功能或者应用组件安装测试。

    上述对于虚拟机的基本安装已经好了,接下来需要做一些为使用,再更进一步为大数据组件安装使用做一些准备工作。
    网络配置:
    vi /etc/sysconfig/network-scripts/ifcfg-ens33
    如果是动态获取地址,BOOTPROTO=dhcp ,如果是设置静态地址,则BOOTPROTO=static

    BOOTPROTO=static
    IPADDR=192.168.1.103 (此处所在局域网的网络ip设置,与网络适配器属同一网段)
    NETMASK=255.255.255.0
    GATEWAY=192.168.1.1 (主机网络适配器设置的网关)
    https://blog.csdn.net/u010064017/article/details/77883776
    ONBOOT=yes
    无论是动态还是静态,配置文件里默认的ONBOOT=no要改成ONBOOT=yes,然后保存。
    service neteork restart 命令重启网络服务。
    vi /etc/resolv.conf
    添加域名服务器:
    nameserver 218.2.135.1
    nameserver 8.8.8.8
    保存后,无需重启网卡,DNS立即生效。
    网络成功配置参考:
    https://blog.csdn.net/u010064017/article/details/77883776
    https://blog.csdn.net/u014466635/article/details/80284792
    网络防火墙关闭(较为简单,参考下文档,注意最好使用永久关闭防火墙):
    https://www.cnblogs.com/maybo/p/5250668.html
    service network restart 重启网络服务

    为了配置安装hadoop以及其它使用还需要进行主机名的设置
    主机名进行设置(修改主机名):
    [root@master /]# cat /etc/sysconfig/network #HOSTNAME=localhostzjx
    NETWORKING=yes
    HOSTNAME=master
    NETWORKING_IPV6=yes

    需要进行切换用户生效:
    su - root

    也可百度下设置用户名和密码,另外需要将进行网络通信的主机名与ip加入/etc/hosts 。这里面配置的是其它主机的ip与主机名的映射,由此才可以通过主机名进行访问。
    vim /etc/hosts
    127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
    10.176.2.101 master
    10.176.2.103 zjx03
    10.176.2.105 zjx05
    10.176.2.111 yjy11
    10.176.2.113 yjy13
    10.176.2.115 yjy15

    可以使用主机名进行测试:
    ssh master date

    基本安装与环境配置到此已经完毕,可以使用此镜像完成

    大数据hadoop安装准备
    hadoop安装
    hadoop下载地址:
    http://central.maven.org/maven2/org/apache/hadoop/
    https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

    hadoop安装获取hadoop官方版本,另一个是CDH版本,关于安装版本选择,目前所使用的较多的有hadoop-2.5版本,但后续更多应用均采用2.7,此处也选用hadoop-2.7
    有参考版本如下:
    hadoop-2.5.0.tar.gz
    hbase-0.98.6-cdh5.3.0
    jdk-7u67-linux-x64
    zookeeper-3.4.5-cdh.10.0

    实际安装版本:
    jdk-8.191
    hadoop-2.7.7
    zookeeper-3.4.5-cdh5.12.2
    后续组件安装sqoop选用版本:sqoop-1.4.7.bin__hadoop-2.6.0
    已成功安装对应此版本下的基于zookeeper的hadoop集群,此版本测试环境可以放心使用,生产环境待测。

    下一篇:进行大数据平台搭建hadoop安装(单机版,hadoop集群版,zookeeper管理集群的安装)

    相关文章

      网友评论

        本文标题:大数据平台环境搭建准备

        本文链接:https://www.haomeiwen.com/subject/dynidqtx.html