ELK的部署效果要达到同时收集多台服务器的日志文件中的日志，并按照类别或者项目，在页面上展示，在一个页面上能看到多台机器的日志同时展现，就像看一台机器一样。下面我们使用ELK的经典组合版本 Elasticsearch2.4.6版本+Logstash2.4.1版本+Kibana4.6.6版本来演示ELK的搭建。
部署的时候版本不是越高越好，主要看Elasticsearch中lucene的版本，一定要是5+以上的版本，因为5以下的版本bug比较多，5+以后的版本问题就不大了，再往后主要是优化居多，包括后面的6版本和7版本，版本变化都不是很大，不过后面的版本数据实时性会高一些，如果对日志数据的实时性要求很高，可以考虑使用高版本。
部署两个应用
首先找两个服务器部署两个应用。我们在 192.168.65.130 和 192.168.65.140 上面，分别占用80端口，部署两个应用，效果如下：
同时给两个应用都加上每秒执行的定时任务：
同时生成的日志文件都放到 /app路径下面，文件名为 spring-boot-web.log，
这样两个项目就部署好了。
部署Elasticsearch
下载页面：
https://www.elastic.co/cn/downloads/past-releases#elasticsearch
版本：
2.4.6
部署机器ip：
192.168.65.141
es不可以用root账户启动，多以新建一个用户es：
groupadd es
useradd -g es es
su es
切换到es用户后，解压elasticsearch：
然后进入config目录，修改配置文件 elasticsearch.yml，修改前注意备份，然后修改文件，主要的修改内容如下：
cluster.name: my.elk #集群名称，如果有多个集群，那么每个集群名就得是唯一的
node.name: node-192.168.65.141 #节点名称
node.master: true #该节点是否是master，true表示是的，false表示否，默认是true
node.data: true #该节点是否存储数据，默认true表示是的
http.port: 9200 #http访问端口，默认是9200，通过这个端口，调用方可以索引查询请求
transport.tcp.port: 9300 #节点之间通信的端口，默认为9300
network.host: 0.0.0.0 #访问地址 配置外网访问
#discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:8300"] #如果是集群，就把所有的 全部写进来
#node.max_local_storage_nodes: 2 #设置一台机子能运行的节点数目，一般采用默认的1即可，因为我们一般也只在一台机子上部署一个节点
2版本的elasticsearch配置非常简单，只需要上面几个配置就可以了。es本身的配置只和自己有关，没有关于其它组件的配置。下一步就是启动，去es根目录下面，运行：
./bin/elasticsearch
或者使用后台运行：
nohup ./bin/elasticsearch &
然后访问es：
可以看到启动没有问题，访问页面显示了es的主要信息，包括节点相关信息以及lucene相关信息。es安装完成！
es安装完成后，一般都会安装一个非常经典的插件，就是head插件，2版本的es这个插件是非常好安装的，进入es的根目录，执行下面的命令：
./bin/plugin install mobz/elasticsearch-head
装完后，根目录会有个plugins/head目录，表示装好了，然后访问head页面，在9200后面加上 /_plugin/head，可以看到效果：
这样页面就比单纯的看数据信息友好多了。
部署Logstash
下载页面：
版本：
2.4.1
部署位置在两台应用服务器上。解压Logstash，进入根目录，手动新建一个配置文件：
配置文件需要配置的内容是，让Logstash收集本地的log文件中的日志，然后远程传输到es搜索引擎中去，所以有个写入模块（input），有个输出模块（output），整体文件结构如下：
先来看一下input的配置：
因为要从文件中读取日志，所以使用了file的配置，type可以随便起名字，最好定义为项目名加上服务器ip，这样在页面中有标识，其它配置可以参考注释。
再来看一下output配置：
根据类型操作日志，hosts表示写到的es的链接，index表示按日志天索引，因为一般日志会保留7到30天左右，所以按天比较合适。上面的配置就是Logstash中最简单的传输配置。下面进入Logstash的根目录，启动：
./bin/logstash -f ./config/log.conf
或者后台启动：
nohup ./bin/logstash -f ./config/log.conf &
注意：如果一个Logstash读取了多个日志文件，多个读取的配置都在一个目录下面，可以直接指定配置目录：
./bin/logstash -f ./confg
上面是140机器的Logstash的配置，再来看一下130的：
除了type不一样，其它基本相同，最重要的是，写到es的时候，索引是一样的，这样同一个项目使用相同的索引，可以保证所有分布在不同机器上的同一个项目的日志写到同一个es索引当中，这是最重要的配置。我们来看一下es的效果：
我们看到log-日志格式的索引立刻有了数据，而且随着不断的刷新，数据在增加，因为我们在项目中加了定时任务，所以在不断写日志。而且每个项目每天都会建立一个新的索引。
部署Kibana
下载页面：
版本：
4.6.6
部署ip：
192.168.65.142
我已经完成了把项目日志从应用服务器传输到es搜索引擎当中，并且安装每个项目每天进行索引，那么下一步就是配置查询了。Kibana下载后，解压，然后进入根目录，修改kibana的配置文件：
vim config/kibana.yml
主要修改的内容如下：
elasticsearch.url: "http://192.168.65.141:9200" #配置es地址
修改一个就可以了，然后启动kibana，在根目录执行：
./bin/kibana
或者后台启动：
nohup ./bin/kibana &
kibana默认端口为5601，我们可以访问kibana：
kibana也启动成功了！可以看到直接跳转到了索引配置页面：
因为我们的索引都是log-开头的，后面跟的每天的时间，所以可以在输入框中输入log-*：
鼠标在空白地方一点，下面的create自动变为可点击的绿色，显示了时间这个索引字段，我们点击create，然后一个搜索索引就添加好了：
现在我们点击Discover就可以查看日志了：
我们可以在左侧配置要展示的字段：
这样右侧的信息会整齐一些：
上面的图表代表的是每个时间段的日志量：
如果想要在服务器中tail命令的刷新效果，可以点击右上角配置：
我们可以选择查看前15分钟的日志，并选中自动刷新：
然后选中每5秒刷新一次：
最后点击时间索引字段，倒序排序：
这样就完成了动态刷新的效果，上面刷新出来的永远是最新的日志。我们也看到，显示的日志内容确实是多台机器交替展示的：
如果我们想搜索带 111 的日志，可以在搜索框输入：
模糊搜索的速度是非常快的，这在我们搜索错误的时候非常有用！可以看到，ELK的组合基本达到了我们想要的效果！
我们的交流基地，“JAVA互联网技术交流：789650498”欢迎小伙伴们一起来交流：
网友评论