springboot整合skywalking

作者: Lolipiza | 来源:发表于2021-01-22 20:49 被阅读0次

Skywalking主要分为oap、webapp和agent三部分，hub.komect.com:10443/hmall/skywalking-ui分别用于汇总数据和展示，这两块共同组成了Skywalking的平台；agent是探针，部署在需要收集数据的应用服务器上，并将数据同步到Skywalking的平台

记录一下一个坑，之前使用的是6.5.0的skywalking，由于一些原因需要重装oap和webapp，想偷个懒，oap和webapp装8.x，agent还是用原来的6.5.0，结果agent的日志就报错了,说找不到注册的方法。所以还是建议使用同一版本的SW，减少不必要麻烦。

下面开始正题：现在拟搭建oap和webapp在虚机，agent在容器使用，oap和webapp在同一台虚拟机运行：

1.配置oap（暂时使用单机，用ES作为存储）

cluster:
  selector: ${SW_CLUSTER:standalone}
  standalone:

storage:
  selector: ${SW_STORAGE:elasticsearch}
  elasticsearch:
    clusterName: esCluster
    nameSpace: ${SW_NAMESPACE:""}
    clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:172.21.42.97:9200}  #你的ES地址
    protocol: ${SW_STORAGE_ES_HTTP_PROTOCOL:"http"}
    user: ${SW_ES_USER:"xxxxxx"}  #ES账号
    password: ${SW_ES_PASSWORD:"xxxx"}  #ES密码
    trustStorePath: ${SW_STORAGE_ES_SSL_JKS_PATH:""}
    trustStorePass: ${SW_STORAGE_ES_SSL_JKS_PASS:""}
    secretsManagementFile: ${SW_ES_SECRETS_MANAGEMENT_FILE:""} # Secrets management file in the properties format includes the username, password, which are managed by 3rd party tool.
    dayStep: ${SW_STORAGE_DAY_STEP:1} # Represent the number of days in the one minute/hour/day index.
    indexShardsNumber: ${SW_STORAGE_ES_INDEX_SHARDS_NUMBER:1} # Shard number of new indexes
    indexReplicasNumber: ${SW_STORAGE_ES_INDEX_REPLICAS_NUMBER:1} # Replicas number of new indexes
    # Super data set has been defined in the codes, such as trace segments.The following 3 config would be improve es performance when storage super size data in es.
    superDatasetDayStep: ${SW_SUPERDATASET_STORAGE_DAY_STEP:-1} # Represent the number of days in the super size dataset record index, the default value is the same as dayStep when the value is less than 0
    superDatasetIndexShardsFactor: ${SW_STORAGE_ES_SUPER_DATASET_INDEX_SHARDS_FACTOR:5} #  This factor provides more shards for the super data set, shards number = indexShardsNumber * superDatasetIndexShardsFactor. Also, this factor effects Zipkin and Jaeger traces.
    superDatasetIndexReplicasNumber: ${SW_STORAGE_ES_SUPER_DATASET_INDEX_REPLICAS_NUMBER:0} # Represent the replicas number in the super size dataset record index, the default value is 0.
    bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:1000} # Execute the async bulk record data every ${SW_STORAGE_ES_BULK_ACTIONS} requests
    syncBulkActions: ${SW_STORAGE_ES_SYNC_BULK_ACTIONS:50000} # Execute the sync bulk metrics data every ${SW_STORAGE_ES_SYNC_BULK_ACTIONS} requests
    flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:10} # flush the bulk every 10 seconds whatever the number of requests
    concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:2} # the number of concurrent requests
    resultWindowMaxSize: ${SW_STORAGE_ES_QUERY_MAX_WINDOW_SIZE:10000}
    metadataQueryMaxSize: ${SW_STORAGE_ES_QUERY_MAX_SIZE:5000}
    segmentQueryMaxSize: ${SW_STORAGE_ES_QUERY_SEGMENT_SIZE:200}
    profileTaskQueryMaxSize: ${SW_STORAGE_ES_QUERY_PROFILE_TASK_SIZE:200}
    advanced: ${SW_STORAGE_ES_ADVANCED:""}

注意，有些版本的SW是需要使用ES7的，这个配置文件有专门的elasticsearch7配置，且使用7.x.x版本的es需要另外下载apache-skywalking-bin-es7.tar.gz包，详见官方github

出于性能考虑，官方推荐在ES配置新增：

thread_pool.index.queue_size: 1000 #只适用于ElasticSearch 6
thread_pool.write.queue_size: 1000 #适用于ElasticSearch 6 and 7
index.max_result_window: 1000000 #trace页面出错时记得设置

PS:如果没有ES的es_keystore.jks，需要注释以下配置：

#    trustStorePath: ${SW_SW_STORAGE_ES_SSL_JKS_PATH:"../es_keystore.jks"}
#    trustStorePass: ${SW_SW_STORAGE_ES_SSL_JKS_PASS:""}

2.webapp配置：
位置在/webapp/webapp.yml

3.启动oap和webapp：
在/bin目录下运行sh startup .sh

4.agent使用：
将agent文件夹拷贝到需要监控的应用所在服务器，配置agentagent.config

# 不同的namespace会导致调用链路追踪中断
agent.namespace=${SW_AGENT_NAMESPACE:xxx}

# 页面上展示的service的名称，也可以通过-Dskywalking.agent.service_name=xxx指定
agent.service_name=${SW_AGENT_NAME:xxxxx}

# 平台的调用地址，也可以通过-Dskywalking.collector.backend_service=127.0.0.1:80指定
collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES:1xxx.xxx.xxx.xxx:11800}

# 忽略指定后缀的请求收集
agent.ignore_suffix=${SW_AGENT_IGNORE_SUFFIX:.jpg,.jpeg,.js,.css,.png,.bmp,.gif,.ico,.mp3,.mp4,.html,.svg}


# 每3秒的采样率，负数代表100%
agent.sample_n_per_3_secs=${SW_AGENT_SAMPLE:-1}

将agent打成镜像供拉取Dockerfile：

FROM busybox:latest
ENV LANG=C.UTF-8
RUN set -eux && mkdir -p /opt/skywalking/agent/
ADD agent/ /opt/skywalking/agent/
WORKDIR /

再运行打镜像的命令：在Dockerfile所在目录运行docker build -t 名称

如果需要动态配置，可以在k8s部署yaml加上环境变量，且在需要监控的应用（java）打镜像的dockerfile加:

FROM java:8
VOLUME /tmp
ARG JAR_FILE
ADD target/${JAR_FILE} app.jar
ENTRYPOINT exec java $JAVA_OPTS -Dapp.id=$APP_ID \
-javaagent:/opt/skywalking/agent/skywalking-agent.jar \
-Dskywalking.agent.service_name=$APP_ID \
-Dskywalking.collector.backend_service=$SKYWALKING_ADDR

最后查看dashboard，默认8080端口。地址为装oap和webapp的主机ip：8080

基本流程：

1.agent收集trace（在skywalking中，一个trace由多个tracesegment构成，一个tracesegment由多个 span 构成的，span可理解为当前所在的一个对象，如果调用两一个服务，那另一个服务就是新的一个span）

一次调用过程，每个traceId都是一致的，在非跨线程/进程情况下（在同一个线程中），children通过parentSpanId关联父span的spanId，就像一个链条一样把一条链路给串起来，如果是跨线程/进程，又会创建出一个新的链条，这时就用 refs 把这几段链条给接连接起来。（为了标识出 children 的父亲到底是谁，使用属性 refs,关联上父节点的所有 ID 信息）

image.png

相同颜色的小球在同一个线程中 , 在同一个线程中的 segmentId 都是相同的，使用spanId以及parentSpanId去连接链路，线程、进程中不同的链路使用refs去连接，同时多个线程链路组成一个trace,他们的 traceID都是相同的。总结一下：

spanId : 同一个线程中唯一, 从0始，按照调用链路从0递增
parentSpanId : 在同一个线程的链路中，用来连接 span
segmentId : 同一个线程链路中，这个值都是相同的，不同线程链路中这个值不同
traceId : 在一个链路中 traceId 唯一

agent里自带插件mvc-annotation-commons,会去代理有@requestMapping注解的方法:

public InstanceMethodsInterceptPoint[] getInstanceMethodsInterceptPoints() {
        return new InstanceMethodsInterceptPoint[] {
            new DeclaredInstanceMethodsInterceptPoint() {
                @Override
                public ElementMatcher<MethodDescription> getMethodsMatcher() {
                    return byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.RequestMapping"));
                }

                @Override
                public String getMethodsInterceptor() {
                    return "org.apache.skywalking.apm.plugin.spring.mvc.commons.interceptor.RequestMappingMethodInterceptor";
                }

                @Override
                public boolean isOverrideArgs() {
                    return false;
                }
            },
            new DeclaredInstanceMethodsInterceptPoint() {
                @Override
                public ElementMatcher<MethodDescription> getMethodsMatcher() {
                    return byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.GetMapping"))
                        .or(byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.PostMapping")))
                        .or(byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.PutMapping")))
                        .or(byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.DeleteMapping")))
                        .or(byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.PatchMapping")));
                }

                @Override
                public String getMethodsInterceptor() {
                    return "org.apache.skywalking.apm.plugin.spring.mvc.commons.interceptor.RequestMappingMethodInterceptor";
                }

                @Override
                public boolean isOverrideArgs() {
                    return false;
                }
            }
        };
    }

将有注解的方法加上代理方法RequestMappingMethodInterceptor，主要去新增span。之后通过生产-消费模型，将产生的span对象们通过GRPC批量发送。
2.agent发送trace给oap（controller）
3.oap接收并构建
4.oap将数据持久化（ES/H2等）

以下是运行时候出现的一些问题：
1.skywalking运行一段时间后，发现没有新的数据显示
首先查看日志：


2021-02-18 02:27:51,673 - org.apache.skywalking.oap.server.library.server.grpc.GRPCServer - 118 [grpc-default-worker-ELG-3-3] WARN  [] - Grpc server thread pool is full, rejecting the task

Grpc线程池满了，什么意思呢？可以理解为oap服务的吞吐量太弱，存储性能跟不上，最简单的方法就是增加集群数量，如果不行则设置：
默认grpc server的线程池大小是4cpu数，排队队列长度是10000，可以调整这两个参数大小：定位到application.yml文件。在core的default下增加gRPCThreadPoolSize: 默认是4倍的cpu，这里可以调高,例如8核默认是48=32，可以调成40或更大gRPCThreadPoolQueueSize：默认是10000，可以调高

参考：
https://www.jianshu.com/p/4f4c182bcbd8
https://www.jianshu.com/p/8b9aad4210c5
https://juejin.cn/post/6844903556772954125#heading-11
https://blog.csdn.net/u010928589/article/details/106542794
https://www.cnblogs.com/kebibuluan/p/13153819.html
https://my.oschina.net/osgit/blog/4558674 （一些skywalking运行时的问题）

springboot整合skywalking

基本流程：

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

服务监控和治理