学习环境搭建

要想学好大数据，得先有大数据方面的环境。

于初学者来说，要么是初入职场，对公司的集群环境不熟悉，自己也怕误操作删库跑路了；要么还在学校，接触不到大数据的开发环境，想练手却巧妇难为无米之炊，所以学习大数据的第一步是我们需要自己在虚拟机中搭建大数据的环境。

要是自己安装linux后再搭建环境可是相当麻烦的，所以我们要找别人已经配好的虚拟机。功夫不负有心人，找了很多资源之后终于找到了好用且免费的虚拟机

01工具

准备一台内存8G，单一磁盘剩余空间60G以上的电脑，下载以下百度网盘链接内容。

链接：https://pan.baidu.com/s/15ZLhrX0Y20vCR6Bha6jtQg     提取码：ywpz 

包括：

1.vmware安装包

2.安装好HIve的linux虚拟机配置文件（在usr/local下面有Hadoop和hive）

3.linux系统所用的ISO镜像

4.远程连接虚拟机的Xshell

5.编辑HQL的notepad安装包

02安装

01安装Vmware

虚拟机,一路next即可，安装运行后点击打开虚拟机

2.虚拟机

解压网盘中下载的Red Hat Enterprise 6.5 x86_64.rar，选择hadoop.vmx，可以看到同目录夹里面还有应该vmdk,,下载vmdk解压后，Vmware工具是不支持直接打开vmdk使用的，需要导入的是一个vmx.

3.选择网盘中下载的镜像文件：RedHat Enterprise 6.5 x86_64.iso

3．网络配置1

接着配置网卡，这里是给虚拟机设置一个静态网络，

可以看到选择有三种模式.  三种虚拟交换机（对应三种网络模式）

VMnet0 虚拟交换机 ：Bridged桥接模式

VMnet1 虚拟交换机 ：Host-Only仅主机模式

VMnet8 虚拟交换机 ：NAT模式，具体区别请查看如下网页https://www.jianshu.com/p/85d41c49fdcd

这里我们选择的是仅主机模式，因为Host-Only模式将虚拟机与外网隔开，使得虚拟机成为一个独立的系统，只与主机相互通讯，虚拟机可以和物理主机互相访问，但虚拟机无法访问外部网络。因此对VMnet1进行配置，

首先，查看一下能联网主机的ip地址：

从网络图标-打开网络共享在、设置，选择本机网络，查看其IP为192.168.1.110

同样的位置，查看虚拟机VM net1的IP是192.168.1.1

可以发现两个网卡的ip地址是在同一网段之中，即192.168.1.0----需要注意的是不同的地址，不同的网络这个网段是不同的，需要根据自己的IP地址确定。

接着，在虚拟机VMware中开启Linux系统，进入系统，接着在“编辑”中打开“虚拟网络编辑器”。

接着，进行子网的配置，需要注意的是子网及子网掩码要和虚拟机网卡同一网段。比如，本虚拟机网卡的网段是192.168.31.0，那么在下图子网IP中需要修改成192.168.31.0，另外在DHCP中设置起始和结束IP地址段。开始位置和本机的ip都是100开始。

3．网络配置2

开启虚拟机，点击other，用户名：root，密码：oracle

单击右键，选择Open in Terminal

输入  rm -rf /etc/udev/rules.d/70-persistent-net.rules

注意rf之后还有一个空格

重启虚拟机

接着，在Linux系统中配置网卡文件。首先找到网卡配置文件

[admin@localhost ~]$ cd /etc/sysconfig/network-scripts/

接着，查找到相应的网卡配置文件“ifcfg-eth0”

因为网卡配置文件“ifcfg-eth0”为只读文件，所以需要切换到root用户才能进行编辑。编辑完毕后，按ESC，接着按“：”，接着输入wq，保存退出，

再接着重启网络服务,如下代码

[root@localhost network-scripts]#service network restart

查看Linux系统中网卡配置是否正确，发现配置已经生效。

4）配置hosts文件（必须）

"/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostName和IP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名（或域名）对应的IP地址。

我们要测试两台机器之间知否连通，一般用"ping 机器的IP"，如果想用"ping 机器的主机名"发现找不见该名称的机器，解决的办法就是修改"/etc/hosts"这个文件，通过把LAN内的各主机的IP地址和HostName的一一对应写入这个文件的时候，就可以解决问题。

safemode: Failedon local exception: java.net.SocketException: Network is unreachable; HostDetails : local host is: "hadoop/192.168.16.100"; destination hostis: "hadoop":9000;

这个也是常见的问题来源---就是因为少了这一步

解决办法：使用 如下命令查看hostname是否一致，修改IP和name一致

vim/etc/sysconfig/network

vim /etc/hosts

本节非常重要，参考如下文献

https://blog.csdn.net/heiiochange/article/details/98474693

https://www.cnblogs.com/kmyangzhao/p/7727813.html

4.建立xshell连接，

安装Xmanager，安装完成后打开Xshell，连接虚拟机，点击new

输入Host：192.168.1.100

用户名：root ，勾选记住用户名

密码：oracle，勾选记住密码

连接成功

选择UTF-8编码

配置鼠标选中即可复制，右键为粘贴

输入start-all.sh 回车。也可以复制该命令，进入xshell直接右键粘贴，回车

等待Hadoop伪分布式集群启动后，输入hdfs dfsadmin -safemode leave，回车

也可以复制该命令，进入xshell直接右键粘贴，回车

本步骤是为了关闭Hadoop安全模式

输入 hive，回车

12.环境准备工作至此全部结束，关闭虚拟机时选择挂起，不要选择关机，这样下次连接时启动虚拟机后界面会仍然保持上次关机时的样子。

后续使用时直接启动虚拟机，然后打开Xshell，连接后直接输入hive即可。如果第12步选择了关闭客户机则需要重复从start-all.sh开始操作才能重新启动Hive。