​elk的介绍

ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称，后期出现的filebeat(beats中的一种)。一起被称为Elastic Stack

1.Elasticsearch是Elastic Stack核心的分布式搜索和分析引擎,是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。在整个Elastic Stack中提供数据的存储和查询。

2.Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。可以通过各种图表进行高级数据分析及展示。并且可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以汇总、分析和搜索重要数据日志。在整个Elastic Stack中提供数据的可视化展示。

3.Logstash是免费且开放的服务器端数据处理管道Logstash是免费且开放的服务器端数据处理管道，能够动态地采集、转换和传输数据，不受格式或复杂度的影响能够动态地采集、转换和传输数据，不受格式或复杂度的影响。在整个Elastic Stack中提供数据的收集，并传输到es中。

4.Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。一般与Logstash结合使用。

架构设计图

1.beats+logstash+elasticsearch+kibana模式

2.TCP，UDP和HTTP协议是将数据输入Logstash的常用方法

3.beats+缓存/消息队列+logstash+elasticsearch+kibana模式

下载位置

https://elasticsearch.cn/download/

Logstash安装步骤

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.9.2.tar.gz
tar -zxvf logstash-7.9.2.tar.gz
cd logstash-7.9.2
// 启动
nohup ./bin/logstash -e 'input { stdin { } } output { stdout {} }' &

详细拓展

http://doc.yonyoucloud.com/doc/logstash-best-practice-cn/index.html

Filebeat的安装

filebeat的原理图:Harvester读取文件、Prospector管理Harvester

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.9.2-linux-x86_64.tar.gz
tar -zxvf filebeat-7.9.2-linux-x86_64.tar.gz
cd filebeat-7.9.2
nohup ./filebeat -e &

详细拓展

https://www.cnblogs.com/zsql/p/13137833.html

Kibana安装配置

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.9.2-linux-x86_64.tar.gz
tar -zxvf kibana-7.9.2-linux-x86_64.tar.gz
cd kibana-7.9.2
nohup ./bin/kibana &

vim kibana.yml

server.port: 5601
server.host: "0.0.0.0"
server.name: "my-kibana"
elasticsearch.hosts: ["http://192.168.110.130:9200","http://192.168.110.131:9200","http://192.168.110.132:9200"]
elasticsearch.preserveHost: true
kibana.index: ".kibana"
elasticsearch.username: "elastic"
elasticsearch.password: "password"   #或者使用keystore的保存的密码"${ES_PWD}"

访问网址：http://192.168.110.130:5601/  并使用elastic/password 登录

els集群无法发现可能的原因

1.检查各节点的防火墙是否已经关闭，或者端口是否开放

2.删除els配置的data、logs目录里面的文件，重新配对