使用 requestId 标记全链路日志

作者: 山月水风 | 来源:发表于2019-07-06 11:34 被阅读1次

标记全链路日志有助于更好的解决 bug 和分析接口性能,本篇文章使用 node 来作为示例

当一个请求到来时,会产生哪些日志

  • 本次请求报文
  • 本次请求涉及到的数据库操作
  • 本次请求涉及到的缓存操作
  • 本次请求涉及到的服务请求
  • 本次请求所遭遇的异常
  • 本次请求执行的关键函数
  • 本次请求所对应的响应体

如何查询本次从请求到响应全链路的所有日志

使用 requestId 唯一标识每个请求,有时它又被称为 sessionId 或者 transactionId

  1. 使用 requestId 标记每次请求全链路日志,所要标记的日志种类如上所示
  2. 通过把 X-Request-Id (X-Session-Id) 标记在请求头中,在整个链路进行传递
async function context (ctx: KoaContext, next: any) {
  const requestId = ctx.header['x-request-id'] || uuid()
  ctx.res.setHeader('requestId', requestId)
  ctx.requestId = requestId
  await next()
}

app.use('/todos/:id', (ctx) => {
  User.findByPk(ctx.body.id, {
    logging () {
      // log ctx.requestId
    }
  })
})

如何以侵入性更小的方式来标记每次请求

如上,在每次数据库查询时手动对 requestId 进行标记过于繁琐。可以统一设计 logger 函数进行标记

具体代码可见我一个脚手架中的 logger.ts

这里使用了流行的日志库 winston (13582 Star)

import winston, { format } from 'winston'

const requestId = format((info) => {
  info.requestId = session.get('requestId')
  return info
})

const logger = winston.createLogger({
  format: format.combine(
    format.timestamp(),
    requestId(),
    format.json()
  )
})

如何在 logger.ts 中绑定 requestId

或者说如何在 logger.ts 如何获得整个请求响应生命周期中的 requestId

  • 通过 async_hooks 可以追踪异步行为的生命周期
  • 通过 cls-hooked 可以获得每次异步请求的 requestId

具体代码可见 session.ts

import { createNamespace } from 'cls-hooked'

const session = createNamespace('hello, world')

export { session }

如何从全链路日志中得益

  1. sentry (警报系统) 中收到一条异常警报时,通过 requestId 可以在 elk (日志系统) 中获取到关于该异常的所有关键日志 (sql, redis, 关键函数的输入输出)
  2. 当客户端一条请求过慢时,通过请求头获取到的 requestId 可以在 elk 中分析该请求的所有数据库查询时间,请求响应时间,缓存是否命中等指标
  3. 查找 API 对应执行的 SQL 语句以及条数,判断是否有冗余 SQL 语句的查询

另外可以通过 zipkin 来追踪全链路耗时。


欢迎关注我的公众号山月行,在这里记录着我的技术成长,欢迎交流

欢迎关注公众号山月行,在这里记录我的技术成长,欢迎交流

相关文章

  • 使用 requestId 标记全链路日志

    标记全链路日志有助于更好的解决 bug 和分析接口性能,本篇文章使用 node 来作为示例 代码示例 本文地址 g...

  • ThreadLocal父子线程之间的数据传递问题

    一、问题的提出 在系统开发过程中常使用ThreadLocal进行传递日志的RequestId,由此来获取整条请求链...

  • 微服务之日志【RequestId】链路追踪

    简要 这篇文章是在公司内部做的一次关于Java日志的一次技术分享,所以部分敏感图片、文字打了马赛克还请谅解,欢迎指...

  • ASP.NET Core 诊断跟踪:DiagnosticSour

    最近在研究全链路监控的实现方式,目的是计划在项目中加入全链路日志的支持,说到这个问题肯定有人会想到 APM,如:S...

  • ELK

    为什么选择ELK日志管理系统 1 基于日志的问题排查,提高故障处理效率,支持全链路追踪技术。2 监控和预警3 关联...

  • 如何预防一个服务故障崩掉整个系统?【熔断】

    上一篇[http://www.jiangyi.cool/article/4]我们聊了微服务的全链路日志问题,这里我...

  • 3.14:全链路跟踪

    本文将从以下三个方面阐述全链路跟踪设计与实践 为什么要做全链路跟踪 怎么做全链路跟踪 开源框架选型 为什么要做全链...

  • 全链路压测文档汇总

    一文带你了解携程第四代全链路测试系统 全链路压测方案梳理 全链路监控(一):方案概述与比较 微服务:全链路压测和容...

  • 2021-07-13 基于aws链路追踪方案

    链路追踪方案 背景 目前日志使用aop+logback生成。存在问题1.高并发下日志大量生成以至于无法确认哪条日志...

  • pinpoint采样原理分析

    使用pinpoint进行全链路监控时,支持对请求的采样,某条请求是否被采样,取决于整个链路开始的机器。该机器使用特...

网友评论

    本文标题:使用 requestId 标记全链路日志

    本文链接:https://www.haomeiwen.com/subject/kchphctx.html