Docker日志收集

引子

Docker的应用为我们带来便利的同时，日志集中化问题就越来越有必要性了。

Docker的日志处理

在收集之前，我们先来简单了解下docker日志处理的机制。当启动一个容器的时候，它其实是docker daemon的一个子进程，docker daemon可以拿到你容器里面进程的标准输出，拿到标准输出后，它会通过自身的一个LogDriver模块来处理，LogDriver支持的方式很多，可以写到本地的文件（默认方式），可以发送到syslog等，见下图：

01.png

目前，常见的收集方式有下面几种：

• 应用程序自行处理

  这个好像并跟这次的主题没有多少关系，比如：使用log4j可以将日志发送到远端的日志中心；

• Docker Logging Driver

  通过LogDriver将日志发送到不同的地方，目前官方支持的log driver类型如下：

  docker log driver.png

• 旁路方式

  旁路模式.png

1. 利用docker API获取日志的stream，并发送到不同的地方。logspout 就是这个方式的一个开源组件，另外，阿里云平台的日志收集agent fluentd-pilot也是采用这种方案。

2. 通过挂载volume的方式将容器内的日志落地到宿主机，宿主机上通过日志采集agent采集，比较流行的agent有logstash, fluentd等。

最佳实践

在日志收集的过程中，需要特别考虑性能的问题。试想一下，当容器的流量比较大的时候，势必日志也会随着大量地产生，这时就会有个问题，日志收集agent必然会跟容器抢占宿主机的资源，为了避免这个问题，在收集选型的时候就需要注意：

• 限制日志收集agent使用的资源，这很容易就想到了docker容器的方式运行agent，docker通过cgroup可以将一个容器的所使用的资源进行完美的限制；
• docker logging driver的性能问题，实测下来json-file（默认方式，写文件到本地）效率是最高的，fluentd logging driver, syslog logging driver会严重影响容器的QPS，容器QPS受后端日志收集agent处理快慢的影响。

综上所属，最佳实践就是采用旁路模式来收集，并且使用容器方式来运行并限定使用的资源；最终采用了logspout+Fluentd的方案（架构图见下），采用的理由如下：

• 通过挂载volume的方式，无法取得容器运行的一些元数据（container_id）, 在我们的环境里，后续的日志处理会依赖这些元数据；

• 不方便为日志流添加一些自定义的字段；

  docker log采集.png

logspout通过docker.sock监听本地容器的启动，通过docker API获取到这个新容器的日志流，并将这个日志流通过udp的协议发送给fluentd处理，fluentd处理完成后发送给后续的日志系统。

最后，受阿里云fluentd-pilot的影响，我将官方的logspout进行一些小的修改，请见：

1. 日志采集的必需先声明，需要采集的容器需要在启动时添加label

   docker run --label "xingren.log=true"
   

2. 默认采集docker env中的MESOS_TASK_ID, 因为我们使用的marathon+mesos作为容器的平台，后续日志处理需要这个字段；

部署

下面个出个docker-compose.yml, 通过docker-compose up就可以运行了；

version: "2"
services:
  logspout:
    image: techwong/logspout
    restart: on-failure
    environment:
     # 这个是发送给fluentd的日志内容模版，JSON格式
     RAW_FORMAT: '{ "container_id" : "{{ .Container.ID }}", "labels": {{ toJSON .Container.Config.Labels }}, "timestamp": "{{ .Time.Format "2006-01-02T15:04:05Z07:00" }}", "source" : "{{ .Source }}", "log": {{ toJSON .Data }}, "MESOS_TASK_ID": {{ getMESOS_TASK_ID .Container.Config.Env }} }'
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    ports:
     - "24222:80"
    command: raw://fluent:5160
    depends_on:
      - fluent
    cpu_quota: 30000   # 限制CPU资源
    restart: always

  fluent:
    image: fluent/fluentd:v0.12
    volumes:
      - ./fluent:/fluentd/etc
    ports:
      - "24221:24221"
    environment:
      LOGSPOUT: ignore
      FLUENTD_CONF: docker_log_collect.conf
    cpu_quota: 30000
    restart: always

fluent的简单配置：

<source>
  @type udp
  tag docker
  format json
  port 5160
</source>

<match docker>
  @type stdout
</match>

最后，可以通过查看fluent的log来查看格式化的容器日志；

参考

• 阿里云Docker日志收集最佳实践
• Docker日志收集新方案：fluentd-pilot
• 5 Docker Logging Best Practices