ELKstack简介

通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为elastic.co，ELK stack的主要优点有如下几个：

1.处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能
2.配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。
3.检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。
4.集群线性扩展：elasticsearch和logstash都可以灵活线性扩展
5.前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单

什么是Elasticsearch？

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。

什么是Logstash？

可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。

什么是Kibana？
主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。

ELKstack部署及配置

Snipaste_2021-03-18_14-56-09.png
Snipaste_2021-03-18_14-56-19.png

Elasticsearch环境准备

1.CentOS7 关闭防火墙和关闭SELINUX

[root@zabbix-server ~]#systemctl stop firewalld
[root@zabbix-server ~]# systemctl disable firewalld
[root@zabbix-server ~]#setenforce 0
[root@zabbix-server ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config 

2.设置epel源

#CentOS7 下载epel源
[root@elkstack01 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

3.修改时区

#将时区修改为上海时区
[root@elkstack01 ~]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp：是否覆盖"/etc/localtime"？ y

4.设置时间同步

#同步服务器时间（切记保证集群之间时间一致非常重要）
[root@elkstack01 ~]# yum install ntpdate -y
[root@elkstack01 ~]# ntpdate time1.aliyun.com

部署Elasticsearc

在elkstack01 和 elkstack02两台机器分别安装elasticsearch，因为elasticsearch服务运行需要JAVA环境，所以两台服务器都需要安装JAVA环境。

安装JDK环境(1.8)

下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

#解压JDK安装包
[root@elkstack01 ~]# tar xf jdk-8u121-linux-x64.tar.gz
#将JDK安装包移动到安装目录下
[root@elkstack01 ~]# mv jdk1.8.0_121 /usr/local/
#做软链接(方便日后升级)
[root@elkstack01 ~]# ln -s /usr/local/jdk1.8.0_121 /usr/local/jdk1.8
#添加环境变量
[root@elkstack01 ~]# vim /etc/profile.d/jdk1.8.sh
export JAVA_HOME=/usr/local/jdk1.8
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
#加载环境变量
[root@elkstack01 ~]# source /etc/profile
#检查是否加载成功
[root@elkstack01 ~]# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)

安装elasticsearch

下载地址：https://www.elastic.co/downloads/elasticsearch
https://www.elastic.co/cn/downloads/past-releases 选择你想要的版本号

#安装elasticsearch使用yum localinstall 自动安装依赖包
[root@elkstack01 ~]# yum localinstall -y elasticsearch-5.3.0.rpm

#查看配置文件修改部分内容(CentOS7中配置)
[root@elkstack01 ~]# vim /etc/elasticsearch/elasticsearch.yml
#设置集群名称（想要其他节点加入同一个集群必须集群名称相同）
cluster.name: elk-cluster
#节点名称（通过此配置项来区分集群中的所有节点）
node.name: elk01
#elasticsearch数据存放目录
path.data: /data/elk/data
#elasticsearch日志存放目录
path.logs: /data/elk/logs
#内存锁设置（在CentOS7中支持内存锁并且要修改启动脚本）
bootstrap.memory_lock: true
#elasticsearch监听地址
network.host: 0.0.0.0
#elasticsearch服务端口
http.port: 9200
#配置所有集群节点IP
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"]

# 检查备份
[root@elkstack01 ~]# cp /etc/elasticsearch/{elasticsearch.yml,elasticsearch.yml.bak}
[root@elkstack01 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml.bak > /etc/elasticsearch/elasticsearch.yml
[root@elkstack01 ~]#  cat  /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluster
node.name: elk01
path.data: /path/elk/data
path.logs: /path/elk/logs
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.103.138", "192.168.103.137"]

#修改启动脚本
[root@elkstack01 ~]# vim /usr/lib/systemd/system/elasticsearch.service
#修改内存限制（去掉此行注释）
LimitMEMLOCK=infinity
#重新加载启动脚本
[root@elkstack01 ~]# systemctl daemon-reload

创建目录并授权

#创建数据目录
[root@elkstack01 ~]# mkdir -p /data/elk/data
#创建日志目录
[root@elkstack01 ~]# mkdir -p /data/elk/logs
#授权
[root@elkstack01 ~]# chown -R elasticsearch.elasticsearch /data/elk/

优化文件描述符

#编辑limit文件
[root@elkstack01 ~]# vim /etc/security/limits.conf
* soft memlock unlimited
* hard memlock unlimited
* soft nofile 131072
* hard nofile 131072

设置JVM最大最小内存限制 根据自己的环境而定

## 编辑配置文件
[root@elkstack01 ~]# vim /etc/elasticsearch/jvm.options
-Xms1g
-Xms1g

启停elasticsearch

[root@elkstack01 ~]# systemctl start elasticsearch
[root@elkstack01 ~]# systemctl stop elasticsearch
#查看启动进程
[root@elkstack01 ~]# ps -ef|grep java
##查看端口
[root@elkstack01 ~]# netstat -lntup
tcp        0      0 :::9200                     :::*                        LISTEN      10872/java
tcp        0      0 :::9300                     :::*                        LISTEN      10872/java