美文网首页
Otter - 中美异地数据同步网络传输优化

Otter - 中美异地数据同步网络传输优化

作者: dengwei29 | 来源:发表于2017-04-14 09:37 被阅读0次

    一、架构介绍

    1.1 为什么要进行网络优化

    进入跨境电商行业以来,国内到海外网络问题算是一个比较头痛的问题,之前也想过许多办法,比如在香港增加中转节点,但国内到香港这段问题还是比较严重,特别是有开大会期间,网络不稳定更是严重,印象中最严重一次丢包率达到了80%+都发生过。后来咨询机房是否能够为我们提供国际加速,有是有啊,但国际加速成本费用是一笔不小的支出,同时机房为我们提供的国际出口并不是特别稳定,当出线路出现问题时,只能人工介入。基于成本与稳定性考虑,必须找替代方案了,于是有了此文。这篇文章只是探讨更多的可能性,并不是说是最优方案,这只不过是目前阶段最适合我们的方案,供被同问题困扰的同学提供一个种解决思路。

    1.2 内网互联

    我们主要借用一家云提供商的一个特性,他们各个数据中心内网可以互联,包括香港云主机,也就是说,我购买2台云主机,一台在国内,一台在香港,那么这二台主机可以通过内网互联。基于这点玩法就有多了。比如VPN,Proxy等,我们是基于TCP Proxy设计的方案

    1.3 工作原理
    otter-node.png

    Otter-Node节点部署在云主机上,国内与香港各部署一个节点,它们的通信方式就能通过内网互联,这就基本解决了node网络传输问题。那这里的HAProxy是用来干什么的呢,这是为了让node节点读写DB数据啊,一般公司DB是不会有外网的,那咋办?这里就引入了HAProxy TCP代理,在机房有外网IP的服务器部署HAProxy,然后通过HAProxy访问内网的MySQL服务,这样整个链路都通实现互通了。最后127.0.0.1:3306用于解决什么问题呢,我们有些机房并不支持VIP漂移,通过本地TCP代理解决机房HAProxy高可用问题,这也算是一个去中心化的思想吧。

    1.4 有什么优缺点呢
    带来的好处
    1. 成本可控。云主机费用并不高,相当于买云主机送国际专线。
    2. 高可用,整个环节无单点。
    3. otter-node端对端内网传输。
    4. HAProxy去中心化。
    5. 对于Otter基本无侵入。
    6. MySQL主机无需外网支持。
    
    缺点

    整个架构主要增加了HAProxy,而且还需要维护多个HAProxy服务,不过这对我来说,也不是什么大问题哈,运维发展到今天,上自动化工具吧,我就是用Salt来解决这个问题,部署及配置全自动化。

    二、Salt自动化部署及配置管理
    有空了补上,有了思路实现有许多方法。

    相关文章

      网友评论

          本文标题:Otter - 中美异地数据同步网络传输优化

          本文链接:https://www.haomeiwen.com/subject/qxxiattx.html