本文描述如何在虚拟机上安装和配置Fluentd, Elasticsearch, kibana.

Fluentd

$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

This shell script registers a new rpm repository at /etc/yum.repos.d/td.repo and installs the td-agent rpm package.

sudo systemctl start td-agent.service
sudo systemctl status td-agent.service

Configuration file path:

/etc/td-agent/td-agent.conf

Output path by default:

/var/log/td-agent/td-agent.log

Test

Send message to fluentd:

$ curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test

Check Fluentd log:

$ tail -5f /var/log/td-agent/td-agent.log
2019-04-18 02:51:54 -0400 [info]: #0 starting fluentd worker pid=4211 ppid=4206 worker=0
2019-04-18 02:51:54 -0400 [info]: #0 [input_debug_agent] listening dRuby uri="druby://127.0.0.1:24230" object="Fluent::Engine" worker=0
2019-04-18 02:51:54 -0400 [info]: #0 [input_forward] listening port port=24224 bind="0.0.0.0"
2019-04-18 02:51:54 -0400 [info]: #0 fluentd worker is now running worker=0
2019-04-18 02:56:04.812413980 -0400 debug.test: {"json":"message"}

下面我们来写一个测试的例子:
先给出两个Fluentd的配置, 第一个配置是直接把Tomcat的日志输出到fluentd自身的日志文件中（/var/log/td-agent/td-agent.log）：

<match testing>
  @type stdout
</match>
<source>
  @type tail
  path /home/ops/logs/*.log
  tag testing
  pos_file /home/ops/logs/log.pos
  read_from_head true
  <parse>
    @type none
  </parse>
</source>

第二个配置是为了将Tomcat日志通过Fluentd输出到文件。

<match testing>
  @type file
  path /var/log/td-agent/tomcat-app
  <buffer time>
        timekey 2m
  </buffer>
</match>
<source>
  @type tail
  path /home/ops/logs/*.log
  tag testing
  pos_file /home/ops/logs/log.pos
  read_from_head true
  <parse>
    @type none
  </parse>
</source>

以上两个配置的<source>都是相同。目的都是为了单独测试Fluentd是否会按照我们的预想工作。深入理解Fluentd的工作原理。
Fluentd则会从该文件读取日志,然后写到/var/log/td-agent/tomcat-app目录下,因为是测试,所以每两分钟会生成一个文件.

应用程序日志目录是在log4j2.xml中配置的。应用程序代码在: https://github.com/ApcheeChen/docker-demo
该应用程序是一个很装装简单的Spingboot程序.关于里面log4j2.xml文件来源于:https://blog.csdn.net/zhangxiaomin1992/article/details/80676699. 我是照搬的.

我们按照下面的步骤将这个简单的app打包成一个image:

mvn clean package -Dmaven.test.skip=true
cd target/
docker build -t docker-demo .
docker tag docker-demo registry.cn-hangzhou.aliyuncs.com/dominic/docker-demo:0.5
docker push registry.cn-hangzhou.aliyuncs.com/dominic/docker-demo:0.5

Let me run this image in the same server as the Fluentd running:

docker run --name log-generator -d --rm -v ~/logs:/data/tomcat -p 80:8080 registry.cn-hangzhou.aliyuncs.com/dominic/docker-demo:0.5

日志文件的输出目录是/data/tomcat/. 我们把host主机目录/HOME/logs挂载到容器的/data/tomcat. 这样的话容器中log4j2日志就会打到host主机/HOME/logs下面。

$ ll -a
total 8
drwxr-xr-x. 2 root root   24 Apr 30 10:15 .
drwx------. 6 ops  ops   178 Apr 30 10:18 ..
-rw-rw-rw-. 1 root root 5419 Apr 30 10:17 applog.log

我们观察td-agent的日志输出(/var/log/td-agent/td-agent.log)，发现有下面的错误消息不断输出：

2019-04-30 10:38:58 -0400 [error]: #0 unexpected error error_class=Errno::EACCES error="Permission denied @ dir_s_mkdir - /home/ops/logs"

经过好一番查找，才知道是权限的问题。 我们把上面倒数第二行的权限修改一下：

drwxrwxrwx. 6 ops      ops       178 Apr 30 10:18 ..

访问应用服务：

http://192.168.3.200/loggen

192.168.3.200是我的应用程序的IP address. 上面这个服务是一个模拟的用来生成日志的服务。

到此为止，我们的应用程序日志到Fluentd已经跑通了。下一节我会来测试如何处理Java异常这类日志。