在之前的spark on yarn集群配置中，感觉最麻烦的就是各个机器之间的网络配置了，一直想简化这部分的工作。
一开始的办法是一台机器一台机器的编辑/etc/network/interfaces 文件和/etc/hosts 文件使各台机器都有固定的ip和通过机器名称可以转换成对应的ip，这样一旦集群中一台机器发生变动，各台机器都要过一遍，很是麻烦。
现在一般的家用路由器上都有根据mac地址分配固定ip的功能，所以只要在路由器上配置dhcp分配的规则，将各个机器的网卡mac地址填入就可以将机器的ip固定住了。
接下来就是机器之间互相识别的事了，这里我们在集群内选定一台主机，作为dns服务器，其他的机器只要将dns服务设定为这台机器，就可以识别其他机器名称所对应的ip了。
按惯例，给出操作环境：
Ubuntu 16.04.2 LTS (GNU/Linux 4.4.0-66-generic x86_64
服务端
首先安装bind
sudo apt-get install bind9
安装完毕之后开始配置。
先要说一些基本认知：
- 所有的配置文件都在
/etc/bind/下 - 要使配置生效，需要重启bind9服务
sudo service bind9 restart - 服务启动的日志在
/var/log/syslog中，需要查看之以确保配置正确和生效
然后我们开始配置bind，参照ubuntu的bind中文wiki。
修改named.conf.local
添加一个zone节点，这里我们的zone名字是“mwnet”:
zone "mwnet" {
type master;
file "/etc/bind/db.mwnet";
};
然后将“db.local”文件复制成“db.mwnet”，并修改之：
;
; BIND data file for local loopback interface
;
$TTL 604800
@ IN SOA mwnet. root.localhost. (
2 ; Serial
604800 ; Refresh
86400 ; Retry
2419200 ; Expire
604800 ) ; Negative Cache TTL
@ IN NS mwnet.
@ IN A 192.168.3.9
Y40 IN A 192.168.3.9
X230 IN A 192.168.3.11
;省略不展示其他机器信息...
其中第5、11行就是将"localhost"修改成了自己的zone名称。
第12行是必须的，指定默认的域名解析到的ip，包括“ns.mwnet”的解析。
从第13行开始就是机器名称的解析了。
接着增加一个反向解析的配置，这一步必须要做，否则hdfs的datanode启动会失败。
同样修改named.conf.local
添加一个zone节点:
zone "3.168.192.in-addr.arpa" {
type master;
notify no;
file "/etc/bind/db.192.168.3";
};
然后将db.127文件复制成db.192.168.3，并修改之：
;
; BIND reverse data file for local loopback interface
;
$TTL 604800
@ IN SOA mwnet. root.localhost. (
2 ; Serial
604800 ; Refresh
86400 ; Retry
2419200 ; Expire
604800 ) ; Negative Cache TTL
;
@ IN NS ns.
9 IN PTR ns.mwnet.
9 IN PTR Y40.mwnet.
11 IN PTR X230.mwnet.
;省略不展示其他机器信息...
注意这里PTR记录和 db.mwnet里面的A记录是一一对应的。
保存修改之后重启服务。
客户端
接下来修改各台机器的dns服务器设置，需要改动/etc/resolvconf/resolv.conf.d/base文件：
search mwnet
domain mwnet
nameserver 192.168.3.9
第1行写search是为了在寻找主机的时候，自动在主机名称后面加上“.mwnet”，以便dns服务器解析。
第2行写domain是为了让本机加入"mwnet"域，这样完整的主机名就变成了设备名称+“.mwnet”。
第3行指定了dns服务器的地址。
需要注意的是这个改动必须重启机器后生效。
补充
如果之前没有改动过/etc/hosts 文件，需要注意一点就是把系统自动添加机器名称解析到127.0.1.1的记录删除，很多事情都坏在这条记录上。
网友评论