前言：

上文https://www.jianshu.com/p/8b68ac58b191通过logstash grok进行数据处理，提取出日志类型及message，并可以生成到不同的索引文件；
随后的使用中发现针对错误日志，由于日志信息换行导致message会分散到多条日志中，如下图所示：

日志内容（部分）如下
[2020-04-06 15:55:14.521] |http-nio-8020-exec-10|ERROR| com.zaxxer.hikari.pool.HikariPool - HikariPool-1 - Exception during pool initialization.
com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
    at com.mysql.cj.jdbc.exceptions.SQLError.createCommunicationsException(SQLError.java:174)
    at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:64)
    at com.mysql.cj.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:836)
    at com.mysql.cj.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:456)

kibana错误日志显示

1.多行处理

目前针对多行合并处理通常采用的logstash的multiline插件完成。
笔者采用如下方式处理时，发现无法启动logstash，提示multiline不被beats支持，进入docker查看 codec的multiline插件是安装过的。

input {
   beats {
       port => 5044
          codec => multiline  {
             pattern => "^\[\d*-\d*"
             negate => true
             what => "previous"
           }
        }
  }

查阅官方资料的确有显示该功能不被支持，如果要合并则需要我们从源头配置Filebeat去处理，只能姑且理解为ES期望这种多行文本合并的操作最好在源头解决掉。
https://www.elastic.co/guide/en/beats/filebeat/6.8/multiline-examples.html

不支持multiline
解决方案
采集日志我们采用了log-pilot,其内部使用了filebeat，我们修改其filebeat模式后重新部署log-pilot。

**master节点**
 [root@k8s-master es]# kubectl get pods -n kube-system | grep log-pilot
log-pilot-9pt27                         1/1     Running   0          3d17h
log-pilot-qq9w5                         1/1     Running   1          3d17h
log-pilot-vc7qs                         1/1     Running   0          3d17h
kubectl cp kube-system/log-pilot-9pt27:/pilot/filebeat.tpl  filebeat.tpl #复制容器中filebeat.tpl文件到master节点

如上文提及，我们的日志格式如下：

***********.Net日志**************
[2020-04-05 12:59:04.7338]|netCore07.LogHelper|INFO|请求Healthy:04/05/2020 12:59:04 
[2020-04-05 12:59:16.3861]|netCore07.LogHelper|INFO|请求DefaultIndex:04/05/2020 12:59:16 
[2020-04-05 12:59:17.5992]|netCore07.LogHelper|INFO|请求DefaultIndex:04/05/2020 12:59:17 
[2020-04-05 12:59:18.1920]|netCore07.LogHelper|INFO|请求DefaultIndex:04/05/2020 12:59:18 
[2020-04-05 12:59:21.6663]|netCore07.LogHelper|INFO|请求Healthy:04/05/2020 12:59:21 
***********Java日志**************
[2020-04-05 13:16:58.351] |http-nio-8020-exec-1|INFO| o.a.c.core.ContainerBase.[Tomcat].[localhost].[/] - Initializing Spring DispatcherServlet 'dispatcherServlet'
[2020-04-05 13:16:58.351] |http-nio-8020-exec-1|INFO| org.springframework.web.servlet.DispatcherServlet - Initializing Servlet 'dispatcherServlet'
[2020-04-05 13:16:58.375] |http-nio-8020-exec-1|INFO| org.springframework.web.servlet.DispatcherServlet - Completed initialization in 22 ms
[2020-04-05 13:16:58.434] |http-nio-8020-exec-1|INFO| com.xxx.controller.StudentController - File-springboot-say:xx

针对日志我们编写一个正则匹配每条日志的开头格式
^.{0,3}\[[0-9]{4}-[0-9]{2}-[0-9]{2}.{0,20}\]|^[0-9]{4}-[0-9]{2}-[0-9]{2}.{0,20}

vim filebeat.tpl  #修改该文件
{{range .configList}}
{{range .configList}}
{{range .configList}}
{{range .configList}}
  scan_frequency: 10s
  fields_under_root: true
  {{if .Stdout}}
  docker-json: true
  {{end}}
  {{if eq .Format "json"}}
  json.keys_under_root: true
  {{end}}
  fields:
      {{range $key, $value := .Tags}}
      {{ $key }}: {{ $value }}
      {{end}}
      {{range $key, $value := $.container}}
      {{ $key }}: {{ $value }}
      {{end}}
  tail_files: false
  close_inactive: 2h
  close_eof: false
  close_removed: true
  clean_removed: true
  close_renamed: false
#以下4行是我们手动添加的
  multiline.pattern: '^.{0,3}\[[0-9]{4}-[0-9]{2}-[0-9]{2}.{0,20}\]|^[0-9]{4}-[0-9]{2}-[0-9]{2}.{0,20}'
  multiline.negate: true
  multiline.match: after
  multiline.max_lines: 1000
  multiline.timeout: 20s
{{end}}

参数说明：
multiline.negate: 多行匹配模式是否取反，默认false
multiline.match: 定义多行内容被添加到模式匹配行之后还是之前，默认无，可以被设置为after或者before
multiline.max_lines: 单一聚合最大的行数，超过会被丢弃
multiline.timeout:多行匹配超时时间，超过超时时间后的当前多行匹配事件将停止并发送，然后开始一个新的多行匹配事件，默认5秒，这个很有用，以往我们用logstash的multiline时就会遇到最后一条日志无法采集，需要新日志插入才能采集的情况。

文件编写完毕后我们重新制作一个定制版log-pilot镜像：

vim Dockerfile
FROM registry.cn-hangzhou.aliyuncs.com/acs/log-pilot:0.9.6-filebeat
COPY filebeat.tpl /pilot/filebeat.tpl
####wq保存dockerFile
####然后执行docker build制作镜像
[root@k8s-master log-pilot]# docker build -t 192.168.0.230:8083/es/log-pilot .
Sending build context to Docker daemon  3.584kB
Step 1/2 : FROM registry.cn-hangzhou.aliyuncs.com/acs/log-pilot:0.9.7-filebeat
 ---> 10a688e1229a
Step 2/2 : COPY filebeat.tpl /pilot/filebeat.tpl
 ---> 433f59cc094e
Successfully built 433f59cc094e
Successfully tagged 192.168.0.230:8083/es/log-pilot:latest
####上传镜像到仓库
[root@k8s-master log-pilot]# docker push 192.168.0.230:8083/es/log-pilot
The push refers to repository [192.168.0.230:8083/es/log-pilot]
5d508534be62: Pushed 
385d5e9ef470: Pushed 
60121972171a: Pushed 
f48d07bb0c66: Pushed 
93d544c0cc28: Pushed 
b204552c6406: Pushed 
721384ec99e5: Pushed 
latest: digest: sha256:e8cba23fec45b221df0fc6e7b640c0475085dce4e39e14c0eb77cfd6571115c4 size: 1788

重新部署log-pilot
kubectl delete -f log-pilot.yaml 删除当前的log-pilot
接下来修改log-pilot.yaml中镜像地址为我们刚才制作的镜像完整名称
kubectl apply -f log-pilot.yaml 再重新部署log-pilot

2.验证

重新访问下报错的URL路径，系统记录下报错日志，然后我们到kibana中查看
从容器日志文件中查看，出现2条错误日志，内容很长，文中就不再粘贴。
kibana中查看，和预期一样，记录了两条完整的日志

kibana多行日志整合

说明：列表中是摘要，点击列表行可以查看单个文档，查看完整日志信息。

总结

这种从源头解决多行的问题并不是笔者所期望的，配置方式的灵活度并不如logstash的脚本模式，您也可能尝试通过logstash的filter中使用multiline模式达到同样的效果，示例：

filter {
   multiline {
            pattern => "^.{0,3}\[[0-9]{4}-[0-9]{2}-[0-9]{2}.{0,20}\]|^[0-9]{4}-[0-9]{2}-[0-9]{2}.{0,20}"
            negate => true
            what => "previous"
        }
    grok {   
        match => {"message" => ".{0,3}%{TIMESTAMP_ISO8601:logTime}.{0,10}\|.*\|%{LOGLEVEL:logLevel}\|%{GREEDYDATA:message}"}
        #用上面提取的message覆盖原message字段
        overwrite => ["message"]
       }
}