1. fluentd的安装和使用

1.1 安装fluentd

请参考我下面两篇博客：
ubuntu下td-agent（fluentd）的安装和配置
以C-S模式使用fluentd来收集docker容器日志

1.2 下载与elasticsearch相关插件

td-agent-gem install fluent-plugin-elasticsearch
td-agent-gem install fluent-plugin-typecast
td-agent-gem install fluent-plugin-secure-forward
td-agent-gem install fluent-plugin-record-reformer

1.3 将 fluentd和 Elasticsearch 进行关联

配置fluentd

vim /etc/td-agent/td-agent.conf

<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match docker.*>
  @type elasticsearch
  host localhost
  port 9200
  index_name docker
  type_name docker
  include_timestamp true
  logstash_format fluentd
  logstash_prefix docker
  logstash_prefix_separator _
  logstash_dateformat %Y.%m.%d
  time_key_format %Y-%m-%dT%H:%M:%S.%N%z
  utc_index true
  flush_interval 5s
</match>

systemctl restart td-agent

2. elasticsearch的安装和使用

2.1 安装JDK

Elasticsearch需要运行在Java 8 及以上，所以需要先安装Java8，可参考我的博客：
ubuntu 安装JDK

2.2 下载安装elasticsearch

• 下载安装包,官网链接

cd /usr/local
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz
tar -zxvf elasticsearch-6.4.2.tar.gz

• Elasticsearch不能使用root用户打开，需要创建一个新用户来启动它

groupadd elsearch
useradd elsearch -g elsearch -p elsearch
chmod -R 777 /usr/local/elasticsearch-6.4.2

• 配置环境参数：

vim /etc/sysctl.conf

内容如下：

 net.core.somaxconn = 1024
 net.core.netdev_max_backlog = 5000
 net.core.rmem_max = 16777216
 net.core.wmem_max = 16777216
 net.ipv4.tcp_wmem = 4096 12582912 16777216
 net.ipv4.tcp_rmem = 4096 12582912 16777216
 net.ipv4.tcp_max_syn_backlog = 8096
 net.ipv4.tcp_slow_start_after_idle = 0
 net.ipv4.tcp_tw_recycle = 1
 net.ipv4.tcp_tw_reuse = 1
 net.ipv4.ip_local_port_range = 10240 65535
 vm.max_map_count = 655360

vim /etc/security/limits.conf

内容如下

root soft nofile 65536
root hard nofile 65536
 * soft nofile 65536
 * hard nofile 65536
elsearch soft nofile 65536
elsearch hard nofile 65536

使生效(可能需重启)

sysctl -p
reboot

• elasticsearch修改配置文件

vim /usr/local/elasticsearch-6.4.2/config/elasticsearch.yml

添加如下内容：

network.host: 0.0.0.0
http.port: 9200

2.3 启动elasticsearch

cd /usr/local/elasticsearch-6.4.2
su elsearch
nohup ./bin/elasticsearch > elasticsearch.out 2>&1 &
exit

运行docker容器，以nginx为例，使用fluentd收集，并使用下面命令激活elasticsearch的查询功能（匹配所有项）

curl -XGET 'http://localhost:9200/_all/_search?q=*'

• elasticsearch5之后不能装插件，都转到kibana那里去了
  打开新的终端，显示如下内容表示安装成功了

root@ubuntu:~# curl 127.0.0.1:9200
{
  "name" : "N6CEbHO",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "JpEWIcI-Q8SJukSm0z3J1Q",
  "version" : {
    "number" : "6.4.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "04711c2",
    "build_date" : "2018-09-26T13:34:09.098244Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

或者打开浏览器，显示如下，证明elasticsearch已安装成功！

elasticsearch已安装成功效果图

3. kibana的安装和使用，Kibana 用户手册

3.1 下载和安装

下载安装包，官网链接

cd  wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz
tar -axvf kibana-6.4.2-linux-x86_64.tar.gz
cd kibana-6.4.2-linux-x86_64

3.2 配置kibana

vim kibana.yml

添加内容：

修改主机绑定的 IP 地址为 0.0.0.0，表示全匹配。
指定连接到 Elasticsearch

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://localhost:9200"

kibana.yml

3.3 启动kibana

cd /usr/local/kibana-6.4.2-linux-x86_64
root@ubuntu:/usr/local/kibana-6.4.2-linux-x86_64# nohup ./bin/kibana > kibana.out 2>&1 &

打开浏览器，进入localhost:5601，在management里面配置索引

配置索引 时间筛选
成功