美文网首页
定制化分词器 | 扩展词库

定制化分词器 | 扩展词库

作者: 乌鲁木齐001号程序员 | 来源:发表于2020-06-12 19:40 被阅读0次

    导论

    每个行业都有自己行业内的专有名词,但是 IK 分词器中的标准词库是不包含这些转专有名词的;为了提高分词的准且性和搜索的精度,需要 IK 分词器知道哪些是专有名词,进而不对其分词,进而直接搜索这些专有名词的时候,可以直接搜索到;

    创建新的词库文件

    touch /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node1/plugins/ik/config/new_word.dic

    添加新词

    凯悦
    

    让 IK 分词器加载新的词库文件

    • 修改文件 IKAnalyzer.cfg.xml;
    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
        <comment>IK Analyzer 扩展配置</comment>
        <entry key="ext_dict">new_word.dic</entry>
        <entry key="ext_stopwords"></entry>
    </properties>
    

    拷贝修改过的文件和新文件到其他节点上

    • cp new_word.dic /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node2/plugins/ik/config
    • cp new_word.dic /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node3/plugins/ik/config
    • cp IKAnalyzer.cfg.xml /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node2/plugins/ik/config
    • cp IKAnalyzer.cfg.xml /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node3/plugins/ik/config

    重启三个节点

    • bin/elasticsearch
    • bin/elasticsearch
    • bin/elasticsearch

    测试对词库中新添加的词的分词结果

    • 用 ik_max_word 分词的结果也是一样的;
    GET /shop/_analyze
    {
      "analyzer": "ik_smart",
      "text": "凯悦"
    }
    --- 
    {
      "tokens" : [
        {
          "token" : "凯悦",
          "start_offset" : 0,
          "end_offset" : 2,
          "type" : "CN_WORD",
          "position" : 0
        }
      ]
    }
    

    再搜索“凯悦”

    • 一条结果都没有;
    • 因为数据在索引进 ElasticSearch 的时候,IK 分词器的词库里没有刚添加的新词“凯悦”,所以现在,即使已经向自定义词库中添加了“凯悦”,用“凯悦”搜还是搜不到;
    • 这个时候要么重建索引,要么 Update By Query;
    GET /shop/_search
    {
      "query": {"match": {
        "name": "凯悦"
      }}
    }
    

    重建索引

    • 因为数据量小,用 Update By Query 就行了;
    • 此时再搜“凯悦”就能搜索了,而且“花悦庭果木烤鸭”就搜不到了;
    POST /shop/_update_by_query
    {
      "query": {
        "bool": {
          "must": [
            {"term": {"name": "凯"}},
            {"term": {"name": "悦"}}
          ]
        }
      }
    }
    

    热更新词库

    • 将自己的词库文件放在远端的服务器上;
    • IK 分词器默认每分钟去检查一次词库文件是否更新,检查的依据是 HTTP 中的 last-modified 和 etag;
    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
        <comment>IK Analyzer 扩展配置</comment>
        <entry key="ext_dict">http://yoursite.com/getCustomDic</entry>
    </properties>
    

    相关文章

      网友评论

          本文标题:定制化分词器 | 扩展词库

          本文链接:https://www.haomeiwen.com/subject/gnuntktx.html