导论
每个行业都有自己行业内的专有名词,但是 IK 分词器中的标准词库是不包含这些转专有名词的;为了提高分词的准且性和搜索的精度,需要 IK 分词器知道哪些是专有名词,进而不对其分词,进而直接搜索这些专有名词的时候,可以直接搜索到;
创建新的词库文件
touch /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node1/plugins/ik/config/new_word.dic
添加新词
凯悦
让 IK 分词器加载新的词库文件
- 修改文件 IKAnalyzer.cfg.xml;
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<entry key="ext_dict">new_word.dic</entry>
<entry key="ext_stopwords"></entry>
</properties>
拷贝修改过的文件和新文件到其他节点上
cp new_word.dic /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node2/plugins/ik/config
cp new_word.dic /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node3/plugins/ik/config
cp IKAnalyzer.cfg.xml /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node2/plugins/ik/config
cp IKAnalyzer.cfg.xml /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node3/plugins/ik/config
重启三个节点
bin/elasticsearch
bin/elasticsearch
bin/elasticsearch
测试对词库中新添加的词的分词结果
- 用 ik_max_word 分词的结果也是一样的;
GET /shop/_analyze
{
"analyzer": "ik_smart",
"text": "凯悦"
}
---
{
"tokens" : [
{
"token" : "凯悦",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 0
}
]
}
再搜索“凯悦”
- 一条结果都没有;
- 因为数据在索引进 ElasticSearch 的时候,IK 分词器的词库里没有刚添加的新词“凯悦”,所以现在,即使已经向自定义词库中添加了“凯悦”,用“凯悦”搜还是搜不到;
- 这个时候要么重建索引,要么 Update By Query;
GET /shop/_search
{
"query": {"match": {
"name": "凯悦"
}}
}
重建索引
- 因为数据量小,用 Update By Query 就行了;
- 此时再搜“凯悦”就能搜索了,而且“花悦庭果木烤鸭”就搜不到了;
POST /shop/_update_by_query
{
"query": {
"bool": {
"must": [
{"term": {"name": "凯"}},
{"term": {"name": "悦"}}
]
}
}
}
热更新词库
- 将自己的词库文件放在远端的服务器上;
- IK 分词器默认每分钟去检查一次词库文件是否更新,检查的依据是 HTTP 中的 last-modified 和 etag;
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<entry key="ext_dict">http://yoursite.com/getCustomDic</entry>
</properties>
网友评论