一、倒排索引
Elasticsearch使用一种称为倒排索引的结构，它适用于快速的全文捜索.一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。
示例：
- 假设文档集合包含五个文档，毎个文档内容如图所示，在图中最左端一栏是每个文档对应的文挡编号。我们的任务就是对这个文档集合建立倒排索引。
文档编号，文档内容
- 中文和英文等语言不同，单词之间没有明确分隔符号，所以首先要用分词系统将文挡自动切分成单词序列.这样每个文档就转换为由单词序列构成的数据
流，为了系统后续处理方便，需要对每个不同的单词賦予唯一的单词编号，同时记录下哪些文挡包含这个单词，在如此处理结束后，我们可以得到最简单的倒排索引。
单词id 单词 文档ID
- 索引系统还可以记录除此之外的更多信息，下图还记载了单词频率信息。 (TF) 即这个单词在某个文档中的出现次数。之所以要记录这个信息，是因为词频信息在搜索结果排序时，计算查询和文档相似度是很重要的一个计算因子，所以将其记录在倒排列表中，以方便后续排序时进行分值计算。
谷歌(1:2) 1是文档id，2是出现次数
- 倒排列表中还可以记录单词在某个文档出现的位置信息
#id是1的单词，出现1次，文档位置是11
#id是2的文档，出现1次，文档位置是7
#id是3的文档，出现2次，文档位置是3，9
(1,<11>,1),(2,<7>,1),(3,<3,9>,2)
有了这个索引系统，搜索引擎可以很方便地响应用户的查询，比如用户输入查询词Facebook，搜索系统查找倒排索引，从中可以读出包含这个单词的文
档，这些文档就是提供给用户的搜索结果，而利用单词频率信息、文档频率信息即可以对这些搜索结果进行排序，计算文档和查词的相似性，按照相似性
得分由高到低排序输出，此即为搜索系统的部分内部流程。
image.png
image.png
二、分词器
1. 分词器概念
从一串文本中切分出一个一个的词条，并対每个词条进行标准化 ，包括三部分：
1）character filter：分词之前的预处理，过滤掉HTML标签.持殊符号转换等
2）tokenizer：分词
3）token filter： 标 准 化
2. 内置分词器：
-
standard分词器：
（默认的)他会枵词汇单元转换成d乌形式，并去除俸用词和标点符号•支持中文采用的方法为单字切分 -
simple分词器：
酋先会通过非字母字符来分割文本信息，然后枵词汇单元统一为兩形式•该分忻器会去掉数字类型的字符• -
Whitespace分词器：
仅仅是去除空格，对字符没有lowcase化,不支持中文；并且不对生成的词汇单元进行其他的标准化处理, -
language分词器：
持走语言的分词器•不支持中文
安装中文分词器
- 下载中文分词器 https://github.com/medcl/elasticsearch-analysis-ik
下载elasticsearch-analysis-ik-master.zip - 解压elasticsearch-analysis-ik-master.zip
unzip elasticsearch-analysis-ik-master.zip - 进入elasticsearch-analysis-ik-master,编译源码
mvn clean install -Dmaven.test.skip=true
#生成文件
/target/releases/elasticsearch-analysis-ik-7.0.0.zip
cd elasticsearch-7.1.1/plugins/
#
mv elasticsearch-analysis-ik-7.0.0.zip elasticsearch-7.1.1/plugins/ik
- 在es的plugins文件夹下创建目录ik
- 编译后生成的elasticsearch-analysis-ik-版本.zip移动到ik下，并解压
- 解压后的内容移动到ik目录下
- 重启elasticsearch，启动报错
Plugin [analysis-ik] was built for Elasticsearch version 7.0.0 but version 7.1.1 is running
问题原因
Es 版本和 ik分词器版本不一致。
由于我用的Es时最新版本 7.1.1，而ik分词器master编译出来也只是7.0.0
解决办法
修改ik目录下的 plugin-descriptor.properties 文件中的
elasticsearch.version=你的ES版本号
删除ik目录，重新解压，先改变版本号，再重启elasticsearch
#启动日志
[INFO ][o.e.p.PluginsService ] loaded module [x-pack-watcher]
[INFO ][o.e.p.PluginsService ] loaded plugin [analysis-ik]
网友评论