阿里巴巴淘系技术部招聘大数据研发、数据分析、数据挖掘同学(P6-P8)。
微信: 18520269913 备注: 阿里巴巴淘系技术部-大数据
写在前面的话
本文针对用户为对计算机有一定的操作基础的同学。本文主要讲述如果从0搭建CDH集群,不包含如果安装虚拟机等过程。
电脑环境
操作方式
mac使用iterm2操作虚拟机,后续的截图都是在mac操作的。如果你是直接在windows操作,可以安装secureCRT,除了copy文件的方式有区别之外,其他的都没有区别。
物理环境
1台mac、1台台式机(8核16G)
虚拟机环境
台式机使用vmware虚拟出4个虚拟机,并安装centos6.10。
虚拟机账号: hadoop 密码: hadoop123
虚拟机名 | IP | 配置 | 备注
-|-|-|-|-
hadoop130.i.md31.cn | 192.168.1.130 | 2核4G | CDH&集群 Master
hadoop131.i.md31.cn | 192.168.1.131 | 1核2G |
hadoop132.i.md31.cn | 192.168.1.132 | 1核2G |
hadoop133.i.md31.cn | 192.168.1.133 | 1核2G |
软件版本
虚拟机操作系统
centos6.10,下载地址为: http://mirrors.aliyun.com/centos/6.10/isos/x86_64/
下载CentOS-6.10-x86_64-bin-DVD1.iso和CentOS-6.10-x86_64-bin-DVD2.iso两个文件。vmware安装过程略。
CDH版本
使用CDH6.2.0,选择的原因是6.2.0是相对比较新的版本,同时也比较稳定。稳定的版本能够避免踩坑。
网友评论