克隆虚拟机
1
关闭进程
2
3
虚拟机 -> 管理 -> 克隆 -> 完整克隆
修改属性
1
IP地址 / hostname / 映射（包含所有机器的映射，方面做ssh） / MAC地址
2
3
MAC地址
4
/etc/udev/rules.d/70-persistent-net.rules
5
删除eth-0，复制MAC地址，将eth-1改成eth-0
6
/etc/sysconfig/network-scripts/ifcfg-eth0
7
修改MAC地址
8
重启网络
ssh免密码登陆
1
公钥存储在远程主机，登陆后进行公钥验证
2
3
路径：用户主目录
4
删除.ssh文件夹下文件
5
运行命令：ssh-keygen -t rsa //-t rsa 使用rsa加密
6
7
拷贝公钥到authorized_keys,并发送到目标主机
8
ssh-copy-id lee.cniao5.com
机器规划
1
数据存储 数据分析
2
1号机 datanode nodemanager namenode historyserver
3
2号机 datanode nodemanager resoucemanager
4
3号机 datanode nodemanager secondaryname
搭建过程
1
与伪分布式相似的过程
2
安装Oracle，解压hadoop，清理文档
3
4
指定Java安装路径
5
hadoop-env.sh，maperd-env.sh，yarn-env.sh
6
7
修改四个xml
8
core-site.xml
9
<property>
10
<name>fs.defaultFS</name>
11
<value>hdfs://lee01.cniao5.com:8020</value>
12
</property>
13
14
<property>
15
<name>hadoop.tmp.dir</name>
16
<value>/opt/app/hadoop-2.5.0/data/tmp</value>
17
</property>
18
19
hdfs-site.xml
20
<property>
21
<name>dfs.permissions.enabled</name>
22
<value>false</value>
23
</property>
24
25
<property>
26
<name>dfs.namenode.secondary.http-address</name>
27
<value>lee03.cniao5.com:50090</value>
28
</property>
29
30
yarn-site.xml
31
<property>
32
<name>yarn.nodemanager.aux-services</name>
33
<value>mapreduce_shuffle</value>
34
</property>
35
36
<property>
37
<name>yarn.resourcemanager.hostname</name>
38
<value>lee02.cniao5.com</value>
39
</property>
40
41
<property>
42
<name>yarn.log-aggregation-enable</name>
43
<value>true</value>
44
</property>
45
46
<property>
47
<name>yarn.log-aggregation.retain-seconds</name>
48
<value>106800</value>
49
</property>
50
51
mapred-site.xml
52
<property>
53
<name>mapreduce.framework.name</name>
54
<value>yarn</value>
55
</property>
56
57
<property>
58
<name>mapreduce.jobhistory.address</name>
59
<value>lee01.cniao5.com:10020</value>
60
</property>
61
62
<property>
63
<name>mapreduce.jobhistory.webapp.address</name>
64
<value>lee01.cniao5.com:19888</value>
65
</property>
66
67
配置文件分发
68
scp -r hadoop-2.5.0/ lee02.cniao5.com:/opt/app/
69
scp -r hadoop-2.5.0/ lee03.cniao5.com:/opt/app/
70
71
格式化namenode
验证
集群时间同步
1
必须同步
2
3
ntpd是否开启
4
service ntpd status
5
ntpd服务开启
6
service ntpd start
7
开机自启
8
chkconfig ntpd on
9
//检查chkconfig
10
11
配置本地集群时间同步
12
修改配置文件
13
vi /etc/ntp.conf
14
放开并修改成自己的网段
15
# Hosts on local network are less restricted.
16
restrict 192.168.37.0 mask 255.255.255.0 nomodify notrap
17
内网环境下，注释以下设置
18
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
19
#server 0.centos.pool.ntp.org
20
#server 1.centos.pool.ntp.org
21
#server 2.centos.pool.ntp.org
22
ntp server提供的本地服务
23
server 127.127.1.0 # local clock
24
fudge 127.127.1.0 stratum 10
25
26
重启ntpd服务
27
service ntpd restart
28
29
30
定时同步
31
查询ntp脚本
32
rpm -qa | gerp ntp
33
查询脚本位置which ntpdate
34
同步时间
35
/usr/sbin/ntpdate lee01.cniao5.com
36
37
制定一个时间计划
38
crontab -e
39
##sync time
40
0-59/10 * * * * /usr/sbin/ntpdate lee01.cniao5.com
41
网友评论