Elastic Curator 的配置和运行

elasticsearch索引的管理工具curator4的配置和运行详解,这个是elastic官方提供的工具.

Singleton Command Line Interface

运行：

curator_cli [OPTIONS] COMMAND [ARGS]...
# 如果用不指定的Options连接es，可以指定curator.yml配置文件读取连接es和curator的参数
# 默认配置文件~/.curator/curator.yml
curator_cli --config /PATH/TO/curator.yml COMMAND [ARGS]...

# 帮助命令
curator_cli --help
curator_cli show_indices --help

# 例子
curator_cli --host 192.168.1.36:9200 show_indices

新版的curator_cli命令行工具对条件的匹配已经改了，
需要使用--filter_list JSON 的格式来过滤。(感觉已经没帮助可查了,用起来变得复杂- -！)

# 例如查看索引，需要使用--filter_list来过滤需要的索引
curator_cli --host 192.168.13.36:9200 show_indices  --filter_list '[{"filtertype":"age","source":"creation_date","direction":"older","unit":"days","unit_count":13},{"filtertype":"pattern","kind":"prefix","value":"logstash"}]'

这样还不如就用这个了：
curator [--config CONFIG.YML] [--dry-run] ACTION_FILE.YML

Command Line Interface

运行：

curator [--config CONFIG.YML] [--dry-run] ACTION_FILE.YML

  --config CONFIG.YML    curator配置文件，配置连接es等参数，
                         默认为~/.curator/curator.yml
  --dry-run              测试运行
  ACTION_FILE.YML        YAML actionfile指定执行操作的文件

ACTION_FILE.YML

ACTION_FILE.YML文件用于配置curator需要执行的操作。

https://www.elastic.co/guide/en/elasticsearch/client/curator/current/actionfile.html

curator_actions_cron.yml

主要用于配置curator定时执行任务，
将运行命令放在crontab中在每日凌晨0点过后执行，
用于清理和优化es的索引。

---
actions:
  1:
    action: delete_indices
    description: "删除过期索引"
    options:
      # action开关，为True表示不执行这个action，默认False
      disable_action: False
      # 如果为True，则在filters空列表时，继续下一个action处理而不是退出程序。
      ignore_empty_list: True
      # 发现错误后，继续执行下一个索引操作，默认False
      continue_if_exception: True
    filters:
    # 是否排除隐藏索引，如.kibana
    - filtertype: kibana
      exclude: True
    # 是否排除open状态的索引
    - filtertype: opened
      exclude: True
    # 处理30天前的索引
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 30
      exclude: False
  2:
    action: allocation
    description: "冷热数据分离任务：将非当天索引从hot节点迁移到stale节点。"
    options:
      # action开关，为True表示不执行这个action，默认False
      disable_action: False
      # ignore_empty_list标识忽略选项，默认False，
      # 如果为True，则在filters空列表时，继续下一个action处理而不是退出程序。
      ignore_empty_list: True
      # 发现错误后，继续执行下一个索引操作，默认False
      continue_if_exception: True
      allocation_type: include
      key: zone
      value: stale
      wait_for_completion: False
    filters:
    # 是否排除隐藏索引，如.kibana
    - filtertype: kibana
      exclude: True
    # 是否排除open状态的索引
    - filtertype: opened
      exclude: False
    # 处理1天前的索引
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 1
      exclude: False
  3:
    action: forcemerge
    description: "强制归并索引segments，优化es性能"
    options:
      # action开关，为True表示不执行这个action，默认False
      disable_action: False
      # ignore_empty_list标识忽略选项，默认False，
      # 如果为True，则在filters空列表时，继续下一个action处理而不是退出程序。
      ignore_empty_list: True
      # 发现错误后，继续执行下一个索引操作，默认False
      continue_if_exception: True
      max_num_segments: 1
      delay:
    filters:
    # 是否排除隐藏索引，如.kibana
    - filtertype: kibana
      exclude: False
    # 是否排除open状态的索引
    - filtertype: opened
      exclude: False
    # 处理1天前的索引
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 2
      exclude: False
  4:
    action: close
    description: "关闭匹配的索引，减少es内存占用"
    options:
      # action开关，为True表示不执行这个action，默认False
      disable_action: False
      # 如果为True，则在filters空列表时，继续下一个action处理而不是退出程序。
      ignore_empty_list: True
      # 发现错误后，继续执行下一个索引操作，默认False
      continue_if_exception: True
      # close索引前是否删除aliases
      delete_aliases: False
    filters:
    # 是否排除隐藏索引，如.kibana
    - filtertype: kibana
      exclude: True
    # 是否排除open状态的索引
    - filtertype: opened
      exclude: False
    # 处理7天前的索引
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 7
      exclude: False

curator_actions_cmd.yml

主要用于需要手动处理的es索引任务。

---
actions:
  1:
    action: open
    description: "open匹配的索引"
    options:
      # action开关，为True表示不执行这个action，默认False 【记得手动开启action】
      disable_action: True
      # 如果为True，则在filters空列表时，继续下一个action处理而不是退出程序。
      ignore_empty_list: True
      # 发现错误后，继续执行下一个索引操作，默认False
      continue_if_exception: True
    # 下面开始匹配需要执行的任务的索引 【记得手动修改filters条件】
    filters:
    - filtertype: closed
      exclude: False
    # 是否排除open状态的索引
    - filtertype: opened
      exclude: True
    # 是否排除隐藏索引，如.kibana
    - filtertype: kibana
      exclude: True
    # 主要在这里匹配索引的时间
    - filtertype: age
      source: name
      # direction值为: younger|older
      direction: younger
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 14
      exclude: False
    # 这里匹配索引名称
    - filtertype: pattern
      # kind值: prefix|suffix|timestring|regex
      kind: prefix
      value: logstash-
      exclude: False

Environment Variables

环境变量可以应用与执行curator和curator_cli命令。

环境变量支持写入CONFIG.YML和ACTION_FILE.YML。

https://www.elastic.co/guide/en/elasticsearch/client/curator/current/envvars.html

CONFIG.YML

https://www.elastic.co/guide/en/elasticsearch/client/curator/current/configfile.html

CONFIG.YML是curator和curator_cli的全局配置文件。

在使用命令时，如果不指定配置文件，默认读取文件：

~/.curator/curator.yml

curator.yml

---
# Remember, leave a key empty if there is no value.  None will be a string,
# not a Python "NoneType"
client:
  hosts:
    - 10.0.0.1
    - 10.0.0.2:9200
    - 10.0.0.3:9201
  port: 9200
  url_prefix:
  use_ssl: False
  certificate:
  client_cert:
  client_key:
  ssl_no_validate: False
  http_auth:
  timeout: 30
  master_only: False

logging:
  loglevel: INFO
  logfile:
  logformat: default
  blacklist: ['elasticsearch', 'urllib3']

curator4版本当前的坑说明

curator当前在filters中的age类型中对时间存在时差问题.

原因是,这个age对时间的计算形式如下:

point_of_reference = epoch - ((number of seconds in unit) * unit_count)

<point_of_reference>就是计算出来的时间
<epoch>是当前时间的utc时间
<number of seconds in unit>就是配置的day或hours单位的秒数,就是配置的unit换算来的.
<unit_count>就是unit_count值

curator直接是把<point_of_reference>这个时间拿来匹配索引的时间,比如索引名称的后缀时间%Y.%m.%d

由这里很明显的知道了由于<epoch>是utc时间,所以<point_of_reference>也utc时间.
那么,中国的和utc时间是要+8小时的,所以这里匹配出来的时间要再加8小时间才是对的.

当前看似官方也知道这个问题,后面的版本可能会再换算一个native时区的时间吧.

当前可以这样解决:
在换算时间的时候,有意识的先扣掉8个小时再换算,这样就可以解决问题了:

比如要获取前一天是索引,改成这样:
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: hours
      unit_count: 16
      exclude: False