环境介绍：
| 安装软件 | 主机名 | IP地址 | 系统版本 |
|---|---|---|---|
| Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0 | es-1 | 192.168.205.155 | centos7.5.1804 |
| Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0 | es-2 | 192.168.205.156 | centos7.5.1804 |
| Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0 | es-3 | 192.168.205.157 | centos7.5.1804 |
| Logstash5.6.9 | logstash | 192.168.205.152 | centos7.5.1804 |
| kibana5.6.9 | kibana | 192.168.205.161 | centos7.5.1804 |
| Filebeat5.6.7 | filebeat | 192.168.205.152 | centos7.5.1804 |
搭建架构：
相关地址：
官网搭建：https://www.elastic.co/guide/index.html
Kafka集群搭建：http://blog.51cto.com/seekerwolf/2095137
各组件介绍
Elasticsearch:
是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
Logstash:
主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。
Kibana:
是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持。
Kafka：
- 1.发布和订阅记录流，类似于消息队列或企业消息传递系统。
- 2.以容错持久的方式存储记录流。
- 3.处理记录发生的流。
Filebeat: 隶属于Beats。目前Beats包含四种工具：
- 1.Packetbeat（搜集网络流量数据）
- 2.Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
- 3.Filebeat（搜集文件数据）
- 4.Winlogbeat（搜集 Windows 事件日志数据）
安装部署详见：
filebeat+ELK+kafka集群搭建（二：filebeat部署）
filebeat+ELK+kafka集群搭建（三：kafka集群部署）
filebeat+ELK+kafka集群搭建（四：logstash部署）
filebeat+ELK+kafka集群搭建（五：Elasticsearch集群部署）
filebeat+ELK+kafka集群搭建（六：kibana部署）
网友评论