美文网首页
定制化分词器 | 扩展词库

定制化分词器 | 扩展词库

作者: 乌鲁木齐001号程序员 | 来源:发表于2020-06-12 19:40 被阅读0次

导论

每个行业都有自己行业内的专有名词,但是 IK 分词器中的标准词库是不包含这些转专有名词的;为了提高分词的准且性和搜索的精度,需要 IK 分词器知道哪些是专有名词,进而不对其分词,进而直接搜索这些专有名词的时候,可以直接搜索到;

创建新的词库文件

touch /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node1/plugins/ik/config/new_word.dic

添加新词

凯悦

让 IK 分词器加载新的词库文件

  • 修改文件 IKAnalyzer.cfg.xml;
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <entry key="ext_dict">new_word.dic</entry>
    <entry key="ext_stopwords"></entry>
</properties>

拷贝修改过的文件和新文件到其他节点上

  • cp new_word.dic /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node2/plugins/ik/config
  • cp new_word.dic /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node3/plugins/ik/config
  • cp IKAnalyzer.cfg.xml /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node2/plugins/ik/config
  • cp IKAnalyzer.cfg.xml /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node3/plugins/ik/config

重启三个节点

  • bin/elasticsearch
  • bin/elasticsearch
  • bin/elasticsearch

测试对词库中新添加的词的分词结果

  • 用 ik_max_word 分词的结果也是一样的;
GET /shop/_analyze
{
  "analyzer": "ik_smart",
  "text": "凯悦"
}
--- 
{
  "tokens" : [
    {
      "token" : "凯悦",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    }
  ]
}

再搜索“凯悦”

  • 一条结果都没有;
  • 因为数据在索引进 ElasticSearch 的时候,IK 分词器的词库里没有刚添加的新词“凯悦”,所以现在,即使已经向自定义词库中添加了“凯悦”,用“凯悦”搜还是搜不到;
  • 这个时候要么重建索引,要么 Update By Query;
GET /shop/_search
{
  "query": {"match": {
    "name": "凯悦"
  }}
}

重建索引

  • 因为数据量小,用 Update By Query 就行了;
  • 此时再搜“凯悦”就能搜索了,而且“花悦庭果木烤鸭”就搜不到了;
POST /shop/_update_by_query
{
  "query": {
    "bool": {
      "must": [
        {"term": {"name": "凯"}},
        {"term": {"name": "悦"}}
      ]
    }
  }
}

热更新词库

  • 将自己的词库文件放在远端的服务器上;
  • IK 分词器默认每分钟去检查一次词库文件是否更新,检查的依据是 HTTP 中的 last-modified 和 etag;
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <entry key="ext_dict">http://yoursite.com/getCustomDic</entry>
</properties>

相关文章

网友评论

      本文标题:定制化分词器 | 扩展词库

      本文链接:https://www.haomeiwen.com/subject/gnuntktx.html