美文网首页
Hadoop(1)——Hadoop基础环境搭建

Hadoop(1)——Hadoop基础环境搭建

作者: 夕颜Hp | 来源:发表于2020-03-15 10:26 被阅读0次

    身为一个刚刚开始接触Hadoop的小白,写博客的主要目的是为了巩固自己在老师那里所学到的一些知识,并且分享自己的知识,希望能帮到一些跟我一样刚接触Hadoop的学者。好笔记不如烂笔头,这是一个从零到一的过程,一起加油吧~

    百度是最好的老师,这里的安装过程不加赘述,可以百度,在CSDN搜索等等……

    1、我们需要安装好15版本的虚拟机

    [提取码:a92y](https://pan.baidu.com/s/1-u3cgbNLbW7lsC45_jqK6A)

     2、准备好iso镜像文件,在这里我选用centOS7:

    [下载](http://mirrors.aliyun.com/centos/7/isos/x86_64/)

    3、创建3台新的虚拟机,选用下载好的centOS7镜像文件

    4、网络改为桥接模式

    5、虚拟机内存可以根据自己真实电脑的内存来设置,推荐把虚拟机内存设置为2G

    6、硬盘40G。虚拟机是弹性的硬盘,不用担心占用空间。

    7、主机名改成自己喜欢的,因为后面要用到三台虚拟机。我设置的是bigdata1,2,3

    8、设置好后,开启虚拟机,安装步骤百度。

    ------都说图形化界面不好用,身为一个初学者,老师还是让我们先使用图形化界面。

    为了方便以后的学习,可以先关闭真实电脑的防火墙~~

    安装好虚拟机和centOS7后,打开虚拟机,root用户登录

    三台虚拟机都需要同样操作

    三台虚拟机都需要同样操作

    三台虚拟机都需要同样操作

    1、修改主机名`hostnamectl set-hostname [YOUR NEW HOSTNAME]修改主机名`,可以输入【hostname】查看是否修改成功,成功后这里会变

    ![在这里插入图片描述](https://img-blog.csdnimg.cn/2020031417454829.png)

    2、修改IP

    在真实电脑win+r键打开运行窗口,输入cmd,使用ipconfig查看IP地址信息。

    在虚拟机打开终端,输入

    cd /etc/sysconfig/network-scripts/

    vim ifcfg-ens33

    修改配置文件,按【i】编辑,编辑完毕按【esc】,shift+: 输入wq保存退出。(q!是不保存退出)

    GATEWAY是网关。

    注意修改三台虚拟机的ip地址时,ip的前三个网段必须保持一致,最后一个网段可以任意改,但是不要改成和真是电脑ip一样。如真实电脑ip是192.168.1.1,那虚拟机ip可以改为192.168.1.2

    输入【ip a】或者【ip addr】或者【ping -c 4 +ip】查看是否连通

    3、修改hosts

    vi /etc/hosts #编辑hosts文件

    在文件尾部加上三台虚拟机的地址+主机名,如:

    192.168.1.1 bigdata1

    192.168.1.2 bigdata2

    192.168.1.3 bigdata3

    4、关闭虚拟机防火墙

    systemctl stop firewalld.service #关闭防火墙服务

    systemctl disable firewalld.service #禁止防火墙开机启动

    5、NTP服务器设置,用于时间同步

    yum -y install ntp #从yum源安装ntp服务

    然后编辑NTP配置

    vim /etc/ntp.conf

    第一台虚拟机中在原有server开头的行前加#注释掉,并且在下面新增以下内容

    server ntp.sjtu.edu.cn iburst

    server +ip地址

    fudge +ip地址 stratum 8

    注意:在操作另外两台虚拟机时,只需要注释掉server开头的行,并且只添加一行主服务器地址即可,如下:

    server +主机名 + iburst

    server bigdata1 iburst

    启动NTP服务

    /usr/sbin/ntpd

    可以在从机上,查看时间同步是否成功

    ntpq -p

    6、无密码登录

    安装ssh

    yum install openssh-* -y #从yum源安装ssh服务

    创建ssh文件

    mkdir  /root/.ssh

    编辑文件

    vim /root/.ssh/config

    写入如下代码:

    StrictHostKeyChecking=no

    UserKnownHostsFile=/dev/null

    三台虚拟机配置完后,都要启动服务

    /usr/sbin/sshd 

    第一次启动时,会提醒你缺少密钥,手动生成即可

    ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key -N ""#生成ecdsa密钥

    ssh-keygen -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key #生成rsa密钥

    生成密码后,再启动一次,看是否成功,在ps –ef中查询一下ssh服务

    ps -ef|grep sshd #查询ssh服务线程

    先在1号机上生成公钥

    ssh-keygen -t rsa -f /root/.ssh/id_rsa #对root用户生成密钥

    中间会确认几次直接回车即可

    ——————————————

    将证书发送到3台机上

    ssh-copy-id bigdata1

    ssh-copy-id bigdata2

    ssh-copy-id bigdata3

    测试:用1号机的ip ssh登录其他主机 ,看能否无密登录,都可以则成功。另两台同样测试

    ssh bigdata2

    ssh bigdata3

    OK,今天的学习到此为止,初次发表,多有疏漏,望君指正。

    QQ1148824675一起学习~

    相关文章

      网友评论

          本文标题:Hadoop(1)——Hadoop基础环境搭建

          本文链接:https://www.haomeiwen.com/subject/yovfehtx.html