Analysis 和 Analyzer

• Analysis - 文本分析是把全文本转换一系列单词(term/token)的过程，也叫分词
• Analysis是通过Analyzer来实现的
  可使用Elasticsearch内置的分析器/或者按需定制化分析器
• 除了在数据写入时转换词条，匹配Query语句时候也需要用相同的分析器对查询语句进行分析

Analyzer组成

• Character Filters: 针对原始文本处理，例如去除html
• Tokenizer: 按照规则切分为单词
• Token Filter: 将切分的单词进行加工，小写，删除stopwords,增加同义词

Elasticsearch的内置分词器

• Standard Analyzer - 默认分词器，按词切分，小写处理
• Simple Analyzer - 按照非字母切分(符号被过滤), 小写处理
• Stop Analyzer - 小写处理，停用词过滤(the,a,is)
• Whitespace Analyzer - 按照空格切分，不转小写
• Keyword Analyzer - 不分词，直接将输入当作输出
• Patter Analyzer - 正则表达式，默认\W+(非字符分割)
• Language - 提供了30多种常见语言的分词器
• Customer Analyzer 自定义分词器

_analyzer API

image.png

Standard Analyzer

image.png