美文网首页
网络配置系统前端改造与性能优化

网络配置系统前端改造与性能优化

作者: 嗷大喵儿 | 来源:发表于2017-04-21 17:08 被阅读0次

网络配置系统简介

  • 网络配置系统是一个为美团点评公司的各类App提供的一个针对网络配置下发的管理系统
  • 目前已对接包括点评app,美团主app,美团外卖等10多款app,系统高峰qps超过2w(最近由于美团app问题,qps超过5w),每日调用量约10亿次

系统存在的问题

  • 在管理段对于任何app中的网络配置做修改都直接更新到redis中,服务端读取同一份redis,若配置出错,直接会导致线上问题
  • 配置内容中存在大量需要设定类型的配置,比如要求实际的值下发为 int, bool, list 等,新增配置导致代码修改
  • 无法提供线上测试功能,新增配置不易验证

系统数据流图--改造前

数据流-改造前

系统数据流图--改造后

数据流-改造后

页面改造前

页面改造前

页面改造后

页面优化后 内置类型支持 修改过程控制

数据结构-改造前

public class NTCache implements Serializable {

public NTCache() {}

@NTRecord(key = "nt.interval")
private int interval;              
@NTRecord(key = "nt.defaulttunnel")
private String defaulttunnel;     

private List<TunnelListItem> tunnelList;

@NTRecord(key = "nt.preblacklist.urlscheme", type = "urlscheme")
private List<PreBlackListItem> preblacklistUrlscheme;     
@NTRecord(key = "nt.preblacklist.contenttype", type = "contenttype")
private List<PreBlackListItem> preblacklistContenttype;   

private List<PreBlackListItem> preblacklist;   

@NTRecord(key = "whitehosts", area = NTArea.APPLOCAL)
private List<String> whitehosts;                          

@NTRecord(key = "specialList.wns", area = NTArea.APPLOCAL, type = "wns")
private List<SpecialListItem> specialListWNS;             
@NTRecord(key = "specialList.cip", area = NTArea.APPLOCAL, type = "cip")
private List<SpecialListItem> specialListCIP;             
@NTRecord(key = "specialList.http", area = NTArea.APPLOCAL, type = "http")
private List<SpecialListItem> specialListHTTP;            

private List<SpecialListItem> specialList;                

@NTRecord(key = "timeout.wns.2G", type = "2G")
private int timeoutWNS2G;               
@NTRecord(key = "timeout.wns.other", type = "other")
private int timeoutWNSOther;            
@NTRecord(key = "timeout.cip.2G", type = "2G")
private int timeoutCIP2G;               
@NTRecord(key = "timeout.cip.other", type = "other")
private int timeoutCIPOther;            
@NTRecord(key = "timeout.cip.udphold.2G", type = "2G")
private int timeoutCIPUdphold2G;        
@NTRecord(key = "timeout.cip.udphold.other", type = "other")
private int timeoutCIPUdpholdOther;     
@NTRecord(key = "timeout.cip.httphold.2G", type = "2G")
private int timeoutCIPHttphold2G;       
@NTRecord(key = "timeout.cip.httphold.2G.other", type = "other")
private int timeoutCIPHttpholdOther;    
@NTRecord(key = "timeout.http.2G", type = "2G")
private int timeoutHTTP2G;              
@NTRecord(key = "timeout.http.other", type = "other")
private int timeoutHTTPOther;           

private List<ExtraListItem> extraList;

}

数据结构-改造后

@Data
public class ConfigCache implements Serializable, Comparable<ConfigCache> {
    private String key;

    private Object value;  //数据已经过转型,为string/integer/boolean/list

    private String platform;  // all/android/ios

    private String sdkVersion;  

    private String beginVersion;  //app begin version

    private String endVersion;  // app end version

    private int orderNo;

    private List<CityRange> cityRanges;  
}

@Data
public class AppConfigCache implements Serializable {
    /**
     * 全局和特定APP
     */
    private List<ConfigCache> tunnel;

    /**
     * 全局和特定APP
     */
    private List<ConfigCache> others;

    /**
     * 全局filter, 特定APP specialList
     */
    private List<ConfigCache> filterOrSpecialList;

    /**
     * 全局timeout, 特定APP hosts
     */
    private List<ConfigCache> timeOutOrHosts;
}

@Getter
@Setter
public class AppConfigVersionCache implements Serializable {
    private AppConfigCache cache;

    private int version;
}

新旧数据分发过程对比

  • 旧的数据在内存中做了缓存,缓存结构如上述NTCache, 每次请求时都会使用反射对NTCache 做处理,同时对某些数据做类型转换,然后根据条件做匹配与排序之后得到配置数据
  • 新的数据处理过程,同样采用内存缓存,但数据已经过预处理(类型转换与排序),只需要做简单的匹配即得到配置数据

改造成果

  • 流程改造,加入配置内容的审核,可撤销未提交的修改
  • 前端改造,内置增加类型支持,新增配置轻松搞定,页面视觉优化
  • 系统单机压测 qps 超过15000(rpc service, 4核4G虚拟机, 99%请求延时在6ms以内)

作者感悟

  • 对于任何问题,选用合适的数据结构解决合适的问题,这样不但可以降低编写代码的复杂度,同时还可以降低代码的维护成本。
  • 程序= 数据结构 + 算法 , 俩手都要抓

相关文章

  • 网络配置系统前端改造与性能优化

    网络配置系统简介 网络配置系统是一个为美团点评公司的各类App提供的一个针对网络配置下发的管理系统 目前已对接包括...

  • 前端性能优化(中)

    性能优化调研系列文章 《前端性能优化(上)》 《前端性能优化(中)》 《前端性能优化(下)》 《前端性能优化(上)...

  • 前端性能优化(下)

    性能优化调研系列文章 《前端性能优化(上)》 《前端性能优化(中)》 《前端性能优化(下)》 《前端性能优化(中)...

  • JAVA-每日一面 2022-01-14

    问:高并发系统如何做性能优化?如何防止库存超卖?答: 高并发系统性能优化:优化程序,优化服务配置,优化系统配置1....

  • 前端性能优化(上)

    性能优化调研系列文章 《前端性能优化(上)》 《前端性能优化(中)》 《前端性能优化(下)》 为什么要进行前端性能...

  • 前端性能优化原理与实践(一)

    摘自前端性能优化原理与实践 网络层面的性能优化 我们从输入 URL到显示页面这个过程中,涉及到网络层面的,有三个主...

  • JavaScript

    前端 优化策略-自查表 前端性能优化常用总结鸟瞰前端 , 再论性能优化 跨域,你需要知道的全在这里内存分析与内存泄...

  • 谈谈 Web 端性能优化

    什么是性能优化 一提到前端性能优化大家的本能反应:sprite 图合并 / 静态资源打包 /... ,那么针对网络...

  • 前端性能优化

    js性能小贴士——优化循环 前端网页与js性能优化 我总结的js性能优化的小知识 提高 web 应用性能之 Jav...

  • 前端性能 优化 大全

    js性能小贴士——优化循环 前端网页与js性能优化 我总结的js性能优化的小知识 提高 web 应用性能之 Jav...

网友评论

      本文标题:网络配置系统前端改造与性能优化

      本文链接:https://www.haomeiwen.com/subject/handzttx.html