前言
近来比较闲，加之boss指派任务要研究日志收集系统，所以选择了ELK整套工具进行研究。
数据库日志收集这块，本人属于小白，一点都不懂，大多是查阅网上各大大神的文章和官网的教程一步一步摸索搭建起来，从环境搭建到集群配置，再到动态获取数据库日志，一路跌跌撞撞实属不易，因此打算把踩过的坑记录下来，给所有想了解或者接触ELK的小白做参考。
本文参考了大量的教程，会在文章底部标明出处。
ELK简介
Elasticsearch
Elasticsearch是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合：
* Wikipedia使用Elasticsearch提供带有高亮片段的全文搜索，还有search-as-you-type和did-you-mean的建议。
*卫报 使用Elasticsearch将网络社交数据结合到访客日志中，实时的给它的编辑们提供公众对于新文章的反馈。
* Stack Overflow将地理位置查询融入全文检索中去，并且使用more-like-this接口去查找相关的问题与答案。
* GitHub使用Elasticsearch对1300亿行代码进行查询。
然而Elasticsearch不仅仅为巨头公司服务。它也帮助了很多初创公司，像Datadog和Klout， 帮助他们将想法用原型实现，并转化为可扩展的解决方案。Elasticsearch能运行在你的笔记本电脑上，或者扩展到上百台服务器上去处理PB级数据。
Elasticsearch中没有一个单独的组件是全新的或者是革命性的。全文搜索很久之前就已经可以做到了， 就像早就出现了的分析系统和分布式数据库。革命性的成果在于将这些单独的，有用的组件融合到一个单一的、一致的、实时的应用中。它对于初学者而言有一个较低的门槛， 而当你的技能提升或需求增加时，它也始终能满足你的需求。
Logstash
Logstash是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。
工作流程
Logstash工作的三个阶段：
input数据输入端，可以接收来自任何地方的源数据。
* file：从文件中读取
* syslog：监听在514端口的系统日志信息，并解析成RFC3164格式。
* redis：从redis-server list中获取
* beat：接收来自Filebeat的事件
Filter数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，常用的过滤器如下。
* grok:通过正则解析和结构化任何文本。Grok目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大部分需求。
* mutate:在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。
* drop:完全丢弃事件，如debug事件。
* clone:复制事件，可能添加或者删除字段。
* geoip:添加有关IP地址地理位置信息。
output是logstash工作的最后一个阶段，负责将数据输出到指定位置，兼容大多数应用，常用的有:
* elasticsearch:发送事件数据到Elasticsearch，便于查询，分析，绘图。
* file:将事件数据写入到磁盘文件上。
* mongodb:将事件数据发送至高性能NoSQL mongodb，便于永久存储，查询，分析，大数据分片。
* redis:将数据发送至redis-server，常用于中间层暂时缓存。
* graphite:发送事件数据到graphite。http://graphite.wikidot.com/
* statsd:发送事件数据到statsd。
kibana
kibana是一个开源和免费的工具，它可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。
ELK安装
MacOS安装ELK5.x以上版本（初略介绍）
安装前需准备：
brew
brew又叫Homebrew，是Mac OSX上的软件包管理工具，能在Mac中方便的安装软件或者卸载软件，只需要一个命令， 非常方便。
Java
elasticsearch需要1.7以上版本，所以还需要安装Java 1.7，用简单的brew又不行，还需要先安装cask。
brewinstall brew-cask
brewupdate
brewcask install caskroom/versions/java7
查看Java版本
java–version
安装Elasticsearch：
brew install elasticsearch //安装Elasticsearch
elasticsearch – version //查看Elasticsearch版本信息
通过
brewservices start elasticsearch
brewservices stop elasticsearch
启停elasticsearch服务
浏览器访问http://localhost:9200可以看到Elasticsearch的信息
{
name:"bWXgrRX",
cluster_name:"elasticsearch_ywheel",
cluster_uuid:"m99a1gFWQzKECuwnBfnTug",
version:{
number:"5.2.2",
build_hash:"f9d9b74",
build_date:"2017-02-24T17:26:45.835Z",
build_snapshot:false,
lucene_version:"6.4.1"
},
tagline:"You Know, for Search"
}
安装logstash：
brew install logstash
安装好后查看版本：
logstash – version
安装Kibana：
Kibana不需要通过brew安装，直接下载压缩包后，解压后执行./kibana即可。
Kibana安装完成后，需要在config/kibana.yml文件中，确认elasticsearch.url:http://localhost:9200
配置logstash
使用logstash能够很方便的写入elasticsearch。 首先得生成一个logstash的conf文件，必须要在用户目录下创建一个*.conf文件
conf：
input {
file {
path=>"/Users/haigui/Desktop/LogInfo/*.log"
start_position=> beginning
ignore_older=> 0
sincedb_path=>"/dev/null"
}
filter {
grok {
match=> {"message"=>"%{IPORHOST:clientip}- %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?:HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-)"}}
date {match=> ["timestamp","dd/MMM/YYYY:HH:mm:ss+0800"]}
}
output {
elasticsearch{}
stdout {}
}
其中path => "/Users/haigui/Desktop/LogInfo/*.log"为日志路径
使用
logstash-f ~/Desktop/*.conf
来读取logstash配置文件
通过kibana窗口观察你的结果：
http://localhost:5601
一开始是在setting页面，要你指定访问的index，这里就用缺省的logstash-*就行了。
CentOS7.0安装ELK
用CentOS7.0是公司要求，其他系统都是可以参考的，在配置过程中会涉及系统参数修改，权限修改就不在文中说明了
安装前需准备：
为了安装时不出错，建议选择这两者选择一样的版本，全部选择5.3版本。
System:Centos release 7.3
Java:Oracle-jdk version "1.8.0_131"
ElasticSearch:5.3.1
Elasticsearch官方建议使用Oracle的JDK8，在安装之前首先要确定下机器有没有安装JDK.
rpm-qa | grep java
如果有，有可能是系统自带的openjdk，而非oracle的jdk。可以使用
rpm–e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
卸载所有带有Java的文件，然后进行重新安装。
检查是否删除
java–version
将jdk-8u131-linux-x64.tar放入/usr/local目录下并解压缩
将以下内容添加至/etc/profile
#set java environment
exportJAVA_HOME=/usr/local/jdk1.8.0_131
exportJRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib/dt.JAVA_HOME/lib/tools.jar:${JRE_HOME}/lib
exportPATH=${JAVA_HOME}/bin:${PATH}
保存后运行source /etc/profile使环境变量生效
输入java -version确认是否安装成功。
[root@localhostlocal]# java -version
javaversion "1.8.0_131"
Java(TM)SE Runtime Environment (build 1.8.0_131-b13)
JavaHotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
安装elasticsearch
elasticsearch安装地址
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.1.tar.gz
将elasticsearch-5.3.1.tar解压到/home/parallels/Desktop/elasticsearch中，修改elasticsearch-5.3.1/config/elasticsearch.yml中：
#这里指定的是集群名称，需要修改为对应的，开启了自发现功能后，ES会按照此集群名称进行集群发现
cluster.name:thh_dev1
#数据目录
path.data:/home/parallels/Desktop/data/elk/data
# log目录
path.logs:/home/parallels/Desktop/data/elk/logs
#修改一下ES的监听地址，这样别的机器也可以访问
network.host:0.0.0.0
#默认的端口号
http.port:9200
修改系统参数，确保系统有足够资源启动ES
设置内核参数
/etc/sysctl.conf
#增加以下参数
vm.max_map_count=655360
执行以下命令，确保生效配置生效：
sysctl–p
设置资源参数
/etc/security/limits.conf
#修改
*soft nofile 65536
*hard nofile 131072
*soft nproc 65536
*hard nproc 131072
vi/etc/security/limits.d/20-nproc.conf
#设置elk用户参数
elksoftnproc65536
启动ElasticSearch5版本要非root用户，使用一个普通用户来启动ElasticSearch
进入elasticsearch的bin目录，使用./elasticsearch -d命令启动elasticsearch。
使用
ps-ef|grep elasticsearch
查看进程
使用
curl-X GEThttp://localhost:9200
查看信息
{
"name" : "FIinCQT",
"cluster_name" :"thh_dev1",
"cluster_uuid" :"Xm1PGPNuT6e5gBv3aF9aew",
"version" : {
"number" : "5.3.1",
"build_hash" :"5f9cf58",
"build_date" :"2017-04-17T15:52:53.846Z",
"build_snapshot" : false,
"lucene_version" :"6.4.2"
},
"tagline" : "You Know, forSearch"
}
客户端网页访问可能需要关掉防火墙：
systemctlstop firewalld.service
安装logstash：
下载logstash
https://artifacts.elastic.co/downloads/logstash/logstash-5.3.1.tar.gz
首先将logstash-5.3.1.tar.gz解压到/home/parallels/Desktop/logstash中
创建配置文件
创建logstash-simple.conf文件并且保存到
/home/parallels/Desktop/logstash/config
文件内容为
input{
file {
path => "/home/parallels/Desktop/data/elk/logs/*.log"
start_position => beginning
ignore_older => 0
sincedb_path =>"/dev/null"
}}
filter{
grok {
match => { "message" =>"%{IPORHOST:clientip} - %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb}%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\"%{NUMBER:response} (?:%{NUMBER:bytes}|-)"}
}date {
match => [ "timestamp" ,"dd/MMM/YYYY:HH:mm:ss +0800" ]
}
}
output{
elasticsearch {}
stdout {}
}
其中path => "/home/parallels/Desktop/data/elk/logs/*.log"为日志路径
Grok后面是正则表达式，筛选logstash要读取的关键信息。
进入logstash的bin目录，使用./logstash -f ../config/logstash-simple.conf命令读取配置信息并启动logstash。
安装kibana：
下载kibana
https://artifacts.elastic.co/downloads/kibana/kibana-5.3.1-linux-x86_64.tar.gz
解压kibana-5.3.1-linux-x86_64源码包到/home/parallels/Desktop/kibana
配置kibana
编辑kibana.yml配置文件
/home/parallels/Desktop/kibana/config/kibana.yml
修改以下参数：
#开启默认端口5601如果5601被占用可用5602或其他
server.port:5601
server.host:“localhost”#站点地址
elasticsearch.url:http://localhost:9200#指向elasticsearch服务的ip地址
kibana.index:“.kibana”
运行cd /home/parallels/Desktop/kibana/bin运行./kibana
通过kibana窗口观察你的结果：
http://localhost:5601
一开始是在setting页面，要你指定访问的index，这里就用缺省的logstash-*就行了。
这样ELK搭建就完成了
参考文献
网友评论