一、 ELK阐述
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据
image.png
二、 Elasticearch环境搭建
2.1 Elasticearch的安装
2.2.1 单机版安装
下载后解压进入到bin目录下，双击elasticsearch.bat，即可启动。在浏览器输入http://localhost:9200/ 是否安装成功，如下图所示：
elasticsearch-success.png
2.2.2 集群安装
Elasticsearch集群的安装非常的简单，只需要作一些简单的配置，修改配置文件 config/elasticsearch.yml。
本节将采用两台节点来配置集群，一台是Windows操作系统，另外一台是Linux操作系统，将Windows操作系统下的Elasticsearch节点作为主节点。两台服务器的IP地址如下：
| 操作系统 | IP | 节点类型 |
|---|---|---|
| Windows操作系统 | 192.168.43.240 | 主节点(master) |
| Linux操作系统 | 192.168.223.139 | 从节点(Slave) |
<font color="red">主节点</font>
- 修改C:\Windows\System32\drivers\etc\hosts文件，加入如下内容
192.168.43.240 master
- 修改Elasticsearch的config目录下的elasticsearch.yml文件，内容如下：
# 集群的名字
cluster.name: my-application
# 节点的名称
node.name: master
# 数据存放的位置
path.data: D:/elasticsearch-datas/to/data
# 日志存放的位置
path.logs: D:/elasticsearch-datas/to/logs
# 节点绑定的IP
network.host: 192.168.43.240
# 设置端口号
http.port: 9200
# 集群中所有的节点的ip地址
discovery.seed_hosts: ["192.168.43.240", "192.168.223.139"]
# 初始状态下集群中主节点的 node.name
cluster.initial_master_nodes: ["master"]
- 启动elasticsearch
<font color="red">从节点</font>
- 创建elasticsearch用户，执行如下命令
useradd -m -s /bin/bash elasticsearch
- 给elasticsearch的主目录权限授予新创建的 elasticsearch 用户
chown -R elasticsearch /elasticsearch/
- 在 /etc/sysctl.conf 文件中加入如下内容
vm.max_map_count=262144 #加大虚拟内存空间，然后重启服务器
- 在/etc/hosts目录下加入如下内容
192.168.43.240 master
- 修改Elasticsearch的config目录下的elasticsearch.yml文件，内容如下：
# 集群的名字
cluster.name: my-application
# 节点的名称
node.name: slave1
# 数据存放的位置
path.data: /elasticsearch-datas/to/data
# 日志存放的位置
path.logs: /elasticsearch-datas/to/logs
# 节点绑定的IP
network.host: 192.168.223.139
# 设置端口号
http.port: 9200
# 集群中所有的节点的ip地址
discovery.seed_hosts: ["192.168.43.240", "192.168.223.139"]
# 初始状态下集群中主节点的 node.name
cluster.initial_master_nodes: ["master"]
- 切换到elasticsearch用户，进入到elasticsearch的家目录下，执行如下命令
su - elasticsearch #切换用户
bin/elasticsearch #启动elasticsearch
<font color="red">集群监控</font>
下载地址：https://github.com/lmenezes/cerebro/releases
直接双击cerebro家目录下的bin目录下的 cerebro.bat 即可启动，在浏览器地址栏访问：localhost:9000
cerebro.png
在Node address输入：http://192.168.43.240:9200，然后点击 Connect 按钮
cerebro-index.png
2.2 Kibana的安装
Kibana是世界上最受欢迎的开源日志分析平台ELK Stack中的“K” ，它为用户提供了一个工具，用于在存储于Elasticsearch集群中的日志数据进行检索，可视化和构建仪表板。
Kibana的核心功能是数据查询和分析。使用各种方法，用户可以搜索Elasticsearch中索引的数据，以查找其数据中的特定事件或字符串，以进行根本原因分析和诊断。基于这些查询，用户可以使用Kibana的可视化功能，允许用户使用图表，表格，地理图和其他类型的可视化以各种不同的方式可视化数据。
A. 下载后进入到家目录下的bin目录中，首先修改config目录下的kibana.yml文件，修改如下内容：
elasticsearch.hosts: ["http://192.168.43.240:9200", "http://192.168.223.139:9200"]
B. 进入bin目录下，双击 kibana.bat文件，在浏览器地址栏访问：http://localhost:5601
kibana-index.png
2.3 Logstash的安装
Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。创建于2009年，于2013年被elasticsearch收购。
Logstash的下载地址：https://www.elastic.co/cn/downloads/logstash
A. 下载测试数据集，下载地址：http://files.grouplens.org/datasets/movielens/，在该网页中下载ml-latest.zip
下载后解压目录，将movies.csv文件拷贝到指定的目录下，例如：D:/logstash-datas/ 目录。
B. 进入到Logstash的解压目录，进入到config目录下，新建logstash.conf，文件内容如下：
input {
file {
path => "D:/logstash-datas/movies.csv"
start_position => "beginning"
sincedb_path => "D:/logstash-datas/db_path.log"
}
}
filter {
csv {
separator => ","
columns => ["id","content","genre"]
}
mutate {
split => { "genre" => "|" }
remove_field => ["path", "host","@timestamp","message"]
}
mutate {
split => ["content", "("]
add_field => { "title" => "%{[content][0]}"}
add_field => { "year" => "%{[content][1]}"}
}
mutate {
convert => {
"year" => "integer"
}
strip => ["title"]
remove_field => ["path", "host","@timestamp","message","content"]
}
}
output {
elasticsearch {
hosts => "http://192.168.31.173:9200"
index => "movies"
document_id => "%{id}"
}
stdout {}
}
C. 在命令行进入到logstash的bin目录下，输入如下命令启动Logstash:
logstash.bat -f D:\logstash-datas\config\logstash.conf
<font color="red">特别强调：路径中绝对不能有中文。</font>
D. 在Kibana的Dev Tools中执行 GET _cat/indices， 即可查看到movies数据集：
kibana-movies-datas.png
网友评论