37.索引生命周期管理—kibana 索引配置

37.1 背景

• 引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化
  • 如通过spark streaming读取Kafka中的日志实时写入es，这些日志高峰期每天10亿+，每分钟接近100w，希望es能够对单分片超过50g或者30天前的索引进行归档，并能够自动删除90天前的索引
  • 这个场景可以通过ILM进行策略配置来实现

37.2 介绍

• ES索引生命周期管理分为4个阶段：hot、warm、cold、delete
  • 其中hot主要负责对索引进行rollover操作

  • warm、cold、delete分别对rollover后的数据进一步处理（前提是配置了hot）

    
    

37.3 kibana 索引配置

• 配置索引生命周期

  • 点击Manage ->Index Lifecycle Policies 可以配置策略管理索引生命周期

    
    

• 首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置

  
  
  
  
• 配置好生命周期策略后，我们需要创建一个模板，将我们现在的输入 index 接管过来，然后将策略应用于这个模板，这就达到了，每次创建的 index 都能应用于这一策略
• 其实最方便的就是将你创建的索引都以 logstash-* 开头，默认就包含一个名为logstash 的模板

大数据视频推荐：
腾讯课堂
CSDN
ELK入门精讲
AIOps智能运维实战
ELK7 stack开发运维
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通