流量回放是通过日志采集再处理来获取所需要的数据
日志采集
通过logstash工具从应用容器拉取日志信息,可以根据filter、tags来筛选
数据传输
通过kafka等消息队列将获取的日志数据传输进行下一步处理
数据处理
从消息队列中消费日志数据,通过storm数据处理系统从日志信息中获取到想要的数据,比如从日志中获取接口的req
数据转存
通过hadoop\mysql\hive对处理的数据进行存储,第一轮一般是原始数据,后面可以用mapreduce再次处理,知道得到想要的数据再存储到具体的磁盘中
ELK
elasticsearch+logstash+kibana(前端开源框架)
压测
针对录制的流量进行处理,除敏、渲染、隔离、熔断,得到符合指标的流量,利用这些流量针对接口服务做压测服务,模拟线上请求
全链路压测核心点
1、流量渲染,打上特有的tag
2、日志隔离,压测的日志和生产的日志隔离
3、风险开关,流量瓶颈时设置黑白名单控制流量
4、数据隔离,影子库
全链路压测关注指标
1、用户
2、应用监控,保留现场数据
3、代码层面分析
作者:liyaoyao6342
链接:https://www.jianshu.com/p/e0a9b76c4f95
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
网友评论