elk实战一

前言：

（1）安装测试环境 centos7
（2）elk是Elasticsearch , Logstach,Kibana 开源软件的集合,对外是作为一个日志管理系统的开源方案。它可以从任何来源，任何格式进行日志搜索，分析获取数据，并实时进行展示
(3)基本软件作用

1.Filebeat ：监控日志文件，转发，获取制定路径的日志文件，传输日志文件给Logstash,或者也可以先给到kafka,然后在到Logstash;
2.Logstash：日志收集，管理，存储，转发日志给Elasticsearch进行处理
3.Elasticsearch：搜索，提供分布式全文搜索引擎，搜索是实时进行处理的，对数据进行索引和聚合
4.Kibana：日志的过滤web 展示，图形界面化操作日志

一、下载安装Filebeat

1、下载地址：(https://www.elastic.co/downloads/beats/filebeat)
2、通过tar -xvf 命令解压安装
3、修改配置文件，采集tomcat 服务器的日志文件

- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /usr/local/etc/tomcat9/logs/test_*.log
    #- c:\programdata\elasticsearch\logs\*
  fields:
     log_topics: test
- type: log
  enabled: true
  paths :
   - /usr/local/etc/tomcat9/logs/jut_*.log
  fields:
    log_topics: jut

output.kafka:
  enabled: true
  hosts: ["127.0.0.1:9092"]
  topic: 'elk-%{[fields][log_topics]}'

1：- type:指定文件的输入类型log
2：paths: 指定采集日志路径
3：fields：向输出的每一条日志添加额外的信息，比如“level:debug”，方便后续对日志进行分组统计,在kibana 看到的内容就会有 fields:{
"level":"debug"}
4： output.kafka:  配置的是将日志先输入到kafka 中

4、启动Filebeat，由于日志会采集到kafka 中，所以要先启动kafka,然后在启动Filebeat

./filebeat -e -c filebeat.yml -d "publish"

5、启动成功后可以看到已经采集了日志信息，包括添加的fields 也包含在内，自此Filebeat 已经配置完成

1543910783484.jpg

二、安装Logstash

1、下载，解压 Logstash
2、配置logstash.conf 文件
宏观的配置文件内容格式如下：

#　输入
input {  ...
}
# 过滤器
filter {...
}
# 输出
output {  ...
}

由于日志采集到了kafka 这里以kafka 作为输入，输出到elasticsearch (index 是作为Kibana 的索引),过滤这块没做研究，可以暂时省略

input {
        kafka {
    bootstrap_servers => "127.0.0.1:9092"
    #topic id
    topics =>["elk-test"]
    codec => "json"
  }
}
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output{
        elasticsearch{
        hosts => ["127.0.0.1:9200"]
        index => "kafka-%{+YYYY.MM.dd}"
        }
          
}        

4、退出保存，然后启动Logstash

bin/logstash -f logstash.conf

三、Elasticsearch 的安装

1、下载并解压Elasticsearch,附官网下载地址：（https://www.elastic.co/cn/downloads/elasticsearch）
2、进入bin 目录，启动Elasticsearch

./elasticsearch

四、Kibana的安装

Kibana是一个开源的分析和可视化平台，旨在与Elasticsearch一起工作。您使用Kibana搜索，查看和与存储在Elasticsearch索引中的数据进行交互。您可以轻松地在各种图表，表格和地图中执行高级数据分析和可视化数据。

1、Kibana 下载与解压，下载地址：https://www.elastic.co/downloads/kibana

2、修改配置文件
(1)将IP地址修改为0.0.0.0 表示全匹配

1543981917328.jpg

(2)指定要进行连接到的Elasticsearch

1543982086826.jpg

(3)启动Kibana
在bin目录下使用命令： ./kibana 启动：

(4) 访问Kinbana：http://ip:5601