ELK日志分析系统简介

作者: IM魂影 | 来源:发表于2017-09-04 21:00 被阅读354次

前言

当我们部署集群服务器的时候,日志文件就会散落在多台服务器上。查看日志信息就需要到各个服务器上去取和查看,我们把这些日志文件归集到一个地方统一管理。
这个时候ELK系统出现了,ELK是elasticsearch、Logstashh和Kibana三个系统的首字母组合。
当然ELK不只是查看日志功能这么简单,还有更多的应用。

概述

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

ELK工作流程

在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

部署方式

ELK部署最简单的方式就是L-E-K方式,不添加任何其他辅助系统,部署简单快速,容易上手。

第二种方式:在L-E之间添加一层redis辅助,这样能够减少日志在服务端的积压,把压力转移到ELK系统服务器上。这种方式添加redis之后,由于redis是内存系统所以响应速度很快,而且可以在redis后添加多个消费系统(Logstash),来扩展消费能力,增强处理速度。

第三种方式:随着业务的增长,服务器部署集群,redis单点故障问题等等,上面的方案已满足不了我们的需求,这个时候我们可以使用Kafka来代替Redis,Kafka相关部署这里不详述,可查看相关资料。

参考文章
https://www.elastic.co/cn/products
http://467754239.blog.51cto.com/4878013/1700828/
http://baidu.blog.51cto.com/71938/1676798
http://blog.csdn.net/buqutianya/article/details/71941351
http://www.jianshu.com/p/797073c1913f

相关文章

  • ELK基础 环境搭建

    一、ELK基础环境简介: ELK环境是一个日志分析系统 1、ELK基础环境搭建用到的组件:elasticsearc...

  • ELK 构建 MySQL 慢日志收集平台

    本文讲解如何通过一套开源日志存储和检索系统 ELK 构建 MySQL 慢日志收集及分析平台。 ELK、EFK 简介...

  • ELK日志分析系统简介

    前言 当我们部署集群服务器的时候,日志文件就会散落在多台服务器上。查看日志信息就需要到各个服务器上去取和查看,我们...

  • 全文检索--ELK(六)

    一、ELK简介   ELK是当下流行的日志监控系统。ELK是Elasticsearch、Logstash、Kiba...

  • ELK

    一.ELK简介 二.ELK安装部署 收集nginx日志ESfilebeatkibanaes-head 0.更新系统...

  • 日志分析系统ELK搭建

    日志分析系统ELK搭建 ELK ELK是日志收集、索引与检索三件套,包含了三个组件 ElasticSearch L...

  • ElasticStack 日志分析构建

    ElasticStack日志系统 Elastic Stack 简介 Elastic Stack 是原 ELK St...

  • Elastic Stack5.0 安装笔记

    ELK(Elasticsearch + Logstash + Kibana)用于日志集中分析系统,Elastics...

  • 如何快速搭建一个简易的ELK日志分析系统

    一、ELK简介  ELK就是一款非常优秀的、开源的、用于搭建实时日志分析平台的组件。ELK是Elasticsear...

  • ELK 日志分析平台搭建

    一、ELK介绍 本节内容来自开源实时日志分析ELK平台部署,感谢原作者详细的介绍。 日志主要包括系统日志、应用程序...

网友评论

    本文标题:ELK日志分析系统简介

    本文链接:https://www.haomeiwen.com/subject/becyjxtx.html