扩展结构：
部件介绍
ElasticSearch
Elasticsearch 是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。
备注：ELK，kibana中过滤器使用语法和Lucene相同，可以使用对应格式来查询
https://segmentfault.com/a/1190000002972420
Logstash
Logstash 是一个具有实时渠道能力的数据收集引擎，主要用于日志的收集与解析、切割，并将其存入 ElasticSearch中。
Kibana
Kibana 是一款基于 Apache 开源协议，使用 JavaScript 语言编写，为 Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度的表图。
Filebeat
引入Filebeat作为日志搜集器，主要是为了解决Logstash开销大的问题。相比Logstash，Filebeat 所占系统的 CPU 和内存几乎可以忽略不计。（备注：当filebeat直接将数据发送logstash时，采集发送速度与logstash处理能力有关，并成正比）
Redis：
引入缓存的原因：
第一、起缓存作用，避免收集层某时刻的大量写入冲垮数据分割层。
第二、起短暂存储作用，即Logstash暂停、重启过程不会造成收集数据的丢失。
部署：
前置条件：Centos7.2 jdk1.8
cd /opt
yum install redis
wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.1.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.1.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.1-linux-x86_64.tar.gz
备注：需要特定版本可以直接改版本再下载。
tar zxf elasticsearch-5.6.1.tar.gz
tar zxf logstash-5.6.1.tar.gz
tar zxf kibana-5.6.1-linux-x86_64.tar.gz
tar zxf filebeat-5.6.1-linux-x86_64.tar.gz
mv filebeat-5.6.1 filebeat
mv kibana-5.6.1 kibana
mv elasticsearch-5.6.1 elasticsearch
mv logstash-5.6.1 logstash
============================================================================
启动Elasticsearch
Elasticsearch不能使用root用户运行
useradd elk
sudo su - elk -c "/opt/elasticsearch/bin/elasticsearch"
验证：curl http://localhost:9200
常用请求：
删除某一索引：curl -XDELETE 'localhost:9200/logstash-nginx-2018.03.25?pretty'
查看集群各节点状态：curl 'localhost:9200/_cat/health?v'
列出所有索引：curl 'localhost:9200/_cat/indices?v'
============================================================================
启动redis
systemctl start redis
#备注：其他配置请根据具体进行配置
============================================================================
启动Logstash
根据业务定义好配置文件
vi /opt/logstash/bin/logstash.conf
参考：
input {
if [type] == "apache_access_log" {
redis { host => "172.17.91.157"
port => 6379
key => "logstash:redis"
data_type => "list"
threads => 50 } } }
output {
if [type] == "apache_access_log" {
elasticsearch { hosts => ["http://172.17.91.157:9200"]
index => "logstash-nginx-%{+YYYY.MM.dd}"
document_type => "nginx"
workers => 1
idle_flush_time => 10 }
stdout { codec => rubydebug} }
}
#nohup /opt/logstash/bin/logstash -f /opt/logstash/bin/logstash.conf &
#nohup /opt/logstash/bin/logstash -f /opt/logstash/bin/logstash.conf >> /data/logs/logstash/nohup.out 2>&1 &
============================================================================
启动Filebeat
根据业务定义好配置文件
vi /opt/filebeat/filebeat-nginx.yml
参考:
filebeat.prospectors:
-
input_type: log
paths:
- /var/log/nginx/access.log
tags: ["apache_access_log"]
document_type: apache_access_log
output.redis:
hosts: ["172.17.91.157"]
port: 6379
key: "logstash:redis"
db: 0
timeout: 5
#nohup /opt/filebeat/filebeat -e -c filebeat-nginx.yml &
#nohup /opt/filebeat/filebeat -e -c filebeat-nginx.yml >> /data/logs/filebeat/nohup.out 2>&1 &
============================================================================
启动Kibana
#nohup /opt/kibana/bin/kibana &
#nohup /opt/kibana/bin/kibana >> /data/logs/kibana/nohup.out 2>&1 &
验证：curlhttp://localhost:5601
至此安装完毕，具体配置需要在特定的场景进行调整
============================================================================
疑问：
一、kibana解析IP做展示
1、bin/elasticsearch-plugin install ingest-geoip
安装ingest-geoip 插件，并重启elasticsearch
2、kibana.yml添加以下内容，并重启
----------------------------------------------------------------------------------------------------------------
tilemap.url: "http://webrd02.is.autonavi.com/appmaptile?
lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}"
#tilemap.url: "https://tiles.elastic.co/v2/default/{z}/{x}/{y}.png?
elastic_tile_service_tos=agree&my_app_name=kibana"
tilemap.options.minZoom: "1"
tilemap.options.maxZoom: "10"
tilemap.options.attribution: "© [Elastic Maps Service](https://www.elastic.co/elastic-maps-service)"
----------------------------------------------------------------------------------------------------------------
3、logstash.conf 在filter部分中增加以下内容
----------------------------------------------------------------------------------------------------------------
geoip {
source => "clientip"
target => "geoip"
database => "/opt/logstash/bin/GeoLite2-City/GeoLite2-City.mmdb"
#http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz
add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
}
mutate {
convert => [ "[geoip][coordinates]", "float"]
}
----------------------------------------------------------------------------------------------------------------
参考资料：https://www.cnblogs.com/ahaii/p/7410421.html
二、应用场景：
1、收集Nginx访问日志，分析用户的地理分布情况、分析URL等。
2、收集服务器登录日志，分析用户登录服务器的情况。可定位是否有外地IP。
3、收集程序的错误日志。开发人员可直接在ELK平台上查看日志信息，减少登录服务器。
4、收集MySQL、Redis等组件的慢日志。作用同第三点。
5、收集crontab定时任务的执行日志。
以下为笔者使用的一些配置文件，仅供参考。
https://github.com/hqh546020152/ELK.git
网友评论