Hadoop云操作系统基础环境的构建与配置

1.在~/etc/中修改主机名文件hosts。所要构建的集群模式包括两个节点：master和slave，以此分别代替IP地址。

2. ping网络连接状态。

3.在root权限下创建hadoop用户。

4.设置主机间无密码连接。

（1）生成密钥对。

master生成密钥对，master远程操作slave生成密钥对ssh slave ssh-keygen –t rsa

（2）将slave刚生成的公钥复制到master的~/.ssh中。

（3）将master和slave的公钥都写入到maser主机~/.ssh目录的认证文件authorized_key中。

（4）用chmod命令修改authorized_key的属性为600。

（5）将master上的authorized_key文件复制到slave的~/.ssh目录里。

（6）无密码连接测试ssh slave显示测试成功。

5.递归创建hadoop目录结构：mkdir –p。

6.用wget命令下载jdk，然后用tar zxf解压。并用mv命令移动改名到chadoop/java。

7.配置环境变量：向~/.bash_profile文件中添加环境变量，然后用. .bash_profile执行，并测试。

8.下载hadoop、hbase、mahout并解压，移动命名。

9.配置hadoop文件：修改八个文件。

10.将master主节点复制到slave节点。

（1）克隆画像文件scp .bash_profile hadoop@slave:~/并生效。

（2）克隆chadoop目录结构到slave。

11.在master主机上格式化HDFS文件系统。

12.启动hadoop之前关闭所有节点主机的防火墙，开放所有端口号，然后启动hadoop，用jps检查hadoop进程。

13．hdfs文件系统的操作：将hadoop配置文件目录上的所有文件上传到hdfs的文件系统中。