美文网首页
流量回放原理

流量回放原理

作者: 尝试热爱这个世界 | 来源:发表于2021-10-09 10:36 被阅读0次

    流量回放是通过日志采集再处理来获取所需要的数据

    日志采集

    通过logstash工具从应用容器拉取日志信息,可以根据filter、tags来筛选

    数据传输

    通过kafka等消息队列将获取的日志数据传输进行下一步处理

    数据处理

    从消息队列中消费日志数据,通过storm数据处理系统从日志信息中获取到想要的数据,比如从日志中获取接口的req

    数据转存

    通过hadoop\mysql\hive对处理的数据进行存储,第一轮一般是原始数据,后面可以用mapreduce再次处理,知道得到想要的数据再存储到具体的磁盘中

    ELK

    elasticsearch+logstash+kibana(前端开源框架)

    压测

    针对录制的流量进行处理,除敏、渲染、隔离、熔断,得到符合指标的流量,利用这些流量针对接口服务做压测服务,模拟线上请求

    全链路压测核心点

    1、流量渲染,打上特有的tag

    2、日志隔离,压测的日志和生产的日志隔离

    3、风险开关,流量瓶颈时设置黑白名单控制流量

    4、数据隔离,影子库

    全链路压测关注指标

    1、用户

    2、应用监控,保留现场数据

    3、代码层面分析

    作者:liyaoyao6342

    链接:https://www.jianshu.com/p/e0a9b76c4f95

    来源:简书

    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

    相关文章

      网友评论

          本文标题:流量回放原理

          本文链接:https://www.haomeiwen.com/subject/tucqoltx.html