最近一段时间很少更新了，一方面是忙于推进公司内部私有云平台的建设，另一方面是公司搞Kubernetes的哥们离职了，这个重担自然落在了我身上。由于时间关系，有很长都没登录简书了。其实年初选择在简书上更新自己的工作记录，很重要的原因是简书的App在手机上格式渲染的很好，体验不错。加上自己也懒得花钱花时间去折腾博客。有个简单的用着还不错的简书自然成了我的选择。
好了，家常扯得也差不多了，该干正事呢。
背景
这两天在公司新机房你上线了几十台Ocata版本的OpenStack，和上次一样，监控部门同事申请了十多台机器做Zabbix Proxy的lvs集群。踩过之前的坑《解决OS虚拟机内采用LVS-DR模式请求超时问题》，我就知道，这次分给业务放不仅仅只有一个VIP和allowed_address_pairs而已。
经过上次在Mitaka上踩过的坑，发现lvs节点所在的宿主机上iptables对于OUTPUT的报文没有做规则，导致客户端请求在丢给RealServer时被丢弃。解决起来也很简单，在neutron-openvswi-local上添加accept语句就能解决这个问题。
这次更新了Ocata版本发现社区竟然还是没有解决这个Bug，看来还得手动再执行一次。
现象
上线了Ocata版本发现，这次我在lvs节点的宿主机上添加了accept语句后客户端仍然无法建立连接。这就奇怪了，难倒Ocata版的安全组规则实现机制有变动？
经过我前后对比Ocata和Mitaka版本的安全组的iptables规则发现并无差异，另一方面业务方的lvs部署都是标准的输出，部署肯定没问题。那问题多半还是在Neutron上。
排查过程
简单抓了下客户端、LVS和RealServer这三台服务器的流量发现，RealServer能够收到Client发送的三次握手的[S]包，同时RealServer也应答了[S.]。
这个时候，问题出现了。RealServer在发出[S.]包后，居然收到客户端的[R]报文。根据解释R是RESET(复位TCP连接)的意思。我们知道正常的三次握手客户端应该回的是[.]相应报文，可是这里却出现了[R].
问题点很有可能是客户端没有收到来自RealServer的ack报文。检查了下客户端的流量，果然没有收到。那么目前得出结论就是，宿主机丢弃了RealServer响应的报文。那么同理在宿主机上加一条accept语句，果然客户端三次握手成功，tcp建立连接。
坑啊，这个是个大坑！
坑的不是需要我手动去添加iptables规则，大坑的是neutron-openvswitch-agent会去刷新iptables规则，导致之前加的策略失效！
临时解决
目前能够知道会引发iptables刷新的策略有agent重启和实例的增删。查了Neutron的代码，本来想实现在刷新iptables之后再加一条accept规则。但是现在业务部门催得紧，再加上自己基础不好，便先用运维的方式解决。
原理就是每隔2分钟去Check一下规则是否存在，没有就给加上。
cat CheckIptablesRulesLvsDr.sh
#!/bin/bash
ChainsName='neutron-openvswi-local'
function IsChainExist()
{
/usr/sbin/iptables-save |grep $ChainsName > /dev/null 2>&1
[[ $? -eq 0 ]] && echo 0 || echo 1
}
function IsRulesExist()
{
/usr/sbin/iptables -C $ChainsName -j ACCEPT > /dev/null 2>&1
[[ $? -eq 0 ]] && echo 0 || echo 1
}
function AddRulesAccept()
{
/usr/sbin/iptables -A $ChainsName -j ACCEPT
}
[[ `IsChainExist` -ne 0 ]] && \
exit 0
[[ `IsRulesExist` -ne 0 ]] && \
AddRulesAccept
通过ansible-playbook推送下到计算节点即可
- name: Check Iptables Rules Used by Lvs Dr Mode
template: src=etc/neutron/CheckIptablesRulesLvsDr.sh dest=/etc/neutron/CheckIptablesRulesLvsDr.sh mode=755
tags:
- lvsdr
- name: Crontab to check iptables on compute nodes. it is used by lvs dr mode in instances
cron: name='checkiptables' minute='*/2' job="/bin/bash /etc/neutron/CheckIptablesRulesLvsDr.sh" user="root"
tags:
- lvsdrcron
网友评论