美文网首页
微博客户端客户端全链路日志监控系统

微博客户端客户端全链路日志监控系统

作者: dengbinhero | 来源:发表于2020-05-01 12:43 被阅读0次


无所不在的部署 && 持续的监控

一:技术背景

1:我们遇到了什么问题?

  在一个微服务的架构系统中,客户端每一个请求,都会形成一个复杂的、很长的调用链路,每一次请求涉及到查询各种API和多种服务请求。例如:客户端app发起一次搜索请求,大概流程如下:

1):客户端通过调用mapi发起请求

2):mapi收到请求后向平台发起多个请求,查询私信聊天记录、查询联系人、查询群聊天记录,而每个环节都可能出问题,但是对客户端来说,都是mapi请求错误,并不知道具体是哪个环节出问题。

二:目标要求

1:记录整个链路所有环节耗时

2:记录整个链路的所有错误

3:可视化

4:数据分析

5:错误快速定位

6:合理的采样率

三:实现方案

1:调用示意图 a 2:调用过程追踪-怎么串联整个链路

3:采样率 

1:调用示意图

1):当用户发起一个请求时,首先到达前端A服务,然后分别对B服务和C服务进行RPC调用;

2):B服务处理完给A做出响应,但是C服务还需要和后端的D服务和E服务交互之后再返还给A服务,最后由A服务来响应用户的请求;

2:调用过程追踪-怎么串联整个链路

1):traceId:本次请求的唯一ID,贯穿整个请求链路,使用uuid做为唯一标志符。

2):spanId:链路中每个请求单元的id,例如一次语音的分片上传,一条语因分为1、2、3三片,三次上传请求,每一次分片上传都有自己对应的spanId,而每个分片都是同一个traceId 3):parentId:上一个请求的spanId,例如分片2的parentId则是分片1的spanId,这样整个链路的层级顺序都串起来了。

3:采样率

主要采取三个采样策略:

1):错误日志全部上采样上传

2):vip用户全采样上传

3):普通用户采用1/1000的采样率上传 

文章引用:

Google Dapper系统

全链路监控-简书

相关文章

  • 微博客户端客户端全链路日志监控系统

    全链路日志监控系统 无所不在的部署 && 持续的监控 一:技术背景 1:我们遇到了什么问题? 在一个微服务的架构...

  • 从0到1构建链路监控系统

    链路监控的核心是建立多个日志的连接,今天我们从服务端与客户端两个方面,一起构建链路监控系统。 <1> 服务端链路日...

  • 基于JavaAgent的全链路监控一《嗨!JavaAgent》

    全链路监控又名分布式监控系统全链路追踪,目前市面的全链路监控系统基本都是参考Google的Dapper(大规模分布...

  • ELK

    为什么选择ELK日志管理系统 1 基于日志的问题排查,提高故障处理效率,支持全链路追踪技术。2 监控和预警3 关联...

  • 实战:如何实时采集上亿级别数据?

    背景介绍 公司业务系统做优化改造,同时为了能够实现全链路监控,需收集所有业务系统之间的调用日志。数据情况:每天20...

  • 全链路压测文档汇总

    一文带你了解携程第四代全链路测试系统 全链路压测方案梳理 全链路监控(一):方案概述与比较 微服务:全链路压测和容...

  • 2020-07-29 开源监控工具链介绍

    说到监控现在最火的是全链路监控(服务调用+HTTP调用+数据源访问+MQ链路的监控),但我认为这是狭义的全链路监控...

  • 全方位的开源监控工具链介绍

    说到监控现在最火的是全链路监控(服务调用+HTTP调用+数据源访问+MQ链路的监控),但我认为这是狭义的全链...

  • ASP.NET Core 诊断跟踪:DiagnosticSour

    最近在研究全链路监控的实现方式,目的是计划在项目中加入全链路日志的支持,说到这个问题肯定有人会想到 APM,如:S...

  • iOS runtime 修复微博登录进度条 UI 问题

    在实现客户端集成微博登录功能时,点击通过新浪微博登录按钮,此时 假如设备上已经安装微博客户端,会跳转到微博客户端进...

网友评论

      本文标题:微博客户端客户端全链路日志监控系统

      本文链接:https://www.haomeiwen.com/subject/rxafghtx.html