SpringCloud源码解析 -- Spring Cloud

本文分享spring cloud sleuth如何构建请求调用链路，并上报zipkin。
如果大家在使用spring cloud sleuth时遇到traceId丢失，上报zipkin失败等问题，希望本文可以给大家一个思路。
源码分析基于Spring Cloud Hoxton，Spring Cloud Sleuth版本为2.2.0.RELEASE

首先明确几个概念
Span：一个工作单元，比如一次RPC(Http)请求过程，其SpanId变量使用唯一的64位ID标识一个Span，Span还有其他数据，如描述，时间戳，Annotation(tags)。
Trace：一条请求调用链路组成的span集合，类似于tree结构，同样，TraceId变量标识一个Trace。

Annotation：用于记录事件实际发生时间，可用于zipkin统计和绘制报表。
cs：Client Sent，客户端发起一个请求时间
sr：Server Received，服务端接收到请求时间
ss：Server Sent，服务端返回响应时间
cr：Client Received，客户端接收到响应时间

SpringBoot 2开始使用了brave框架完成日志收集，brave是zipkin官方提供的java版本客户端，它将收集的跟踪信息，以Span的形式上报给Zipkin系统。
brave框架详细可见https://github.com/openzipkin/brave。

下面假设有client，server两个工程，调用链路如下：
用户 -> client --> server

本文我们来探讨以下几个问题

1. 用户调用client时，client如何生成Span信息
2. client调用server时，如何将Span发送到server
3. server如何接收cliend的Span信息
4. client，server如何发送Span到zipkin

注意，本文是基于SpringMvc+RestTeamplate的请求调用的，而非WebFlux异步调用。

问题1

问题1和问题3，都由LazyTracingFilter处理，它在TraceWebServletAutoConfiguration中初始化。

（本文部分源码来自于brave框架）
LazyTracingFilter#doFilter -> (brave)TracingFilter#doFilter

public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
throws IOException, ServletException {
...

    // #1
    Span span = handler.handleReceive(new HttpServerRequest(httpRequest));

    // #2
    request.setAttribute(SpanCustomizer.class.getName(), span.customizer());
    request.setAttribute(TraceContext.class.getName(), span.context());

    Throwable error = null;
    
    // #3
    Scope scope = currentTraceContext.newScope(span.context());
    try {
      chain.doFilter(httpRequest, httpResponse);
    } ...
    finally {
      // #4
      scope.close();
      if (servlet.isAsync(httpRequest)) { // we don't have the actual response, handle later
        servlet.handleAsync(handler, httpRequest, httpResponse, span);
      } else { // we have a synchronous response, so we can finish the span
        handler.handleSend(servlet.httpServerResponse(httpRequest, httpResponse), error, span);
      }
    }
}

#1
从Http Request的Header里获取Span数据，
如果Header中存在X-B3-TraceId,X-B3-SpanId,X-B3-ParentSpanId属性，就说明调用链前一个节点已经生成Span，并传递下来，这时可以直接使用这些Span数据。
否则，创建一个新的Span。
#2 记录一些Span的属性
#3 调用ThreadLocalCurrentTraceContext#newScope，保存当前的Span信息，当应用向下传递Span信息时需要使用这些信息。
这里会调用ThreadLocalCurrentTraceContext#decorateScope，它会获取上下文的ScopeDecorator，并触发其decorateScope方法。
SleuthLogAutoConfiguration构建了默认的ScopeDecorator -- Slf4jScopeDecorator，它会获取Span中的traceId，parentId，spanId，放置MDC中，方便日志打印。
TraceAutoConfiguration负责构建ThreadLocalCurrentTraceContext，并将Slf4jScopeDecorator添加到ThreadLocalCurrentTraceContext#decorateScope中
#4 关闭Scope，记录server finishTimestamp(ss)。

HttpServerHandler#handleReceive

public Span handleReceive(HttpServerRequest request) {
    // #1
    Span span = nextSpan(defaultExtractor.extract(request), request);
    // #2
    return handleStart(new HttpServerRequest.ToHttpAdapter(request), request.unwrap(), span);
}

#1 调用B3Extractor#extract，会从Http Header中提取X-B3-TraceId,X-B3-SpanId,X-B3-ParentSpanId属性。
nextSpan方法根据提取的结果，调用tracer.joinSpan或tracer.nextSpan方法。
#2 记录http.method，http.path，mvc.controller.class等Annotation，并记录server startTimestamp(sr)。

问题2

LazyTracingClientHttpRequestInterceptor负责实现该功能。它在TraceWebClientAutoConfiguration中构建。

LazyTracingClientHttpRequestInterceptor#interceptor -> TracingClientHttpRequestInterceptor#intercept(brave)

public ClientHttpResponse intercept(HttpRequest request, byte[] body,
    ClientHttpRequestExecution execution) throws IOException {
    // #1
    Span span = handler.handleSend(new HttpClientRequest(request));
    HttpClientResponse response = null;
    Throwable error = null;
    // #2
    try (Tracer.SpanInScope ws = tracer.withSpanInScope(span)) {
      // #3
      ClientHttpResponse result = execution.execute(request, body);
      response = new HttpClientResponse(result);
      return result;
    } catch (IOException | RuntimeException | Error e) {
      error = e;
      throw e;
    } finally {
      // #4
      handler.handleReceive(response, error, span);
    }
}

#1 将Span信息注入Http请求中
#2 将Span包装成Tracer.SpanInScope
#3 发送请求
#4 记录client finishTimestamp(cr)，并且上报span

HttpClientHandler#handleSend

public Span handleSend(HttpClientRequest request, Span span) {
    ...
    // #1
    defaultInjector.inject(span.context(), request);
    // #2
    return handleStart(new HttpClientRequest.ToHttpAdapter(request), request.unwrap(), span);
}

#1
span是通过Tracer#nextSpan获取，该方法从ThreadLocalCurrentTraceContext#get获取当前的Span信息。
再调用B3Propagation#inject方法将traceId，parentId，spanId注入Http Header中。
#2 记录Span相关信息，如client startTimestamp(cs)。

问题4

那么Spring如何将span发送到zipkin？

先看一个brave框架上报Span的简单例子

Sender sender = URLConnectionSender.create("http://localhost:9411/api/v1/spans")
AsyncReporter asyncReporter = AsyncReporter.builder(sender)
        .build(SpanBytesEncoder.JSON_V2);

Tracing tracing = Tracing.newBuilder()
        .spanReporter(asyncReporter)
        .build();

Tracer tracer = tracing.tracer();
Span span = tracer.newTrace().name("encode").start();
...
span.finish();

我们并不要自己上报数据，span.finish()方法中，brave会帮我们完成上报Span工作。

看一下上例中brave的组件类
Tracing：负责提供其他组件类，如Tracer，Sampler。在TraceAutoConfiguration中构建。
Tracer：管理一个请求链路，可以创建Span。
Sender：负责将编码后的二进制数据发送给Zipkin。在ZipkinRestTemplateSenderConfiguration中构建一个RestTemplateSender，使用RestTemplate上报Span数据。
AsyncReporter：异步上报器，调度Sender完成Span上报工作。在ZipkinAutoConfiguration中构建。

在Spring Cloud Sleuth中，
TracingClientHttpRequestInterceptor#intercept方法'#4'步骤 -> RealSpan#finish -> ZipkinFinishedSpanHandler#handle。
ZipkinFinishedSpanHandler#handle会调用Reporter#report来上报Span数据
ZipkinFinishedSpanHandler是Tracing默认的FinishedSpanHandler。

如果您觉得本文不错，欢迎关注我的微信公众号，您的关注是我坚持的动力！