流量回放是通过日志采集再处理来获取所需要的数据
日志采集
通过logstash工具从应用容器拉取日志信息，可以根据filter、tags来筛选
数据传输
通过kafka等消息队列将获取的日志数据传输进行下一步处理
数据处理
从消息队列中消费日志数据，通过storm数据处理系统从日志信息中获取到想要的数据，比如从日志中获取接口的req
数据转存
通过hadoop\mysql\hive对处理的数据进行存储，第一轮一般是原始数据，后面可以用mapreduce再次处理，知道得到想要的数据再存储到具体的磁盘中
ELK
elasticsearch+logstash+kibana(前端开源框架)
压测
针对录制的流量进行处理，除敏、渲染、隔离、熔断，得到符合指标的流量，利用这些流量针对接口服务做压测服务，模拟线上请求
全链路压测核心点
1、流量渲染，打上特有的tag
2、日志隔离，压测的日志和生产的日志隔离
3、风险开关，流量瓶颈时设置黑白名单控制流量
4、数据隔离，影子库
全链路压测关注指标
1、用户
2、应用监控，保留现场数据
3、代码层面分析
问题：
1、可以省略线下单压测吗
2、可以随便压测吗
网友评论