Docker 安装 ElasticSearch & 安装ik分词

背景

分词：即把一段中文划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一一个匹配操作，默认的中文分词是将每个字看成一个词（不使用用IK分词器的情况下），
比如“湖人总冠军”会被分为”湖”，”人”，”总冠军” ，这不一定符合检索场景要求的，比如检索结果期望分词输出成一个词”湖人总冠军“，如何解决这个需求，此时需要安装ik中文分词器，结合自定义自定义扩展字典输出期望分词结果；本文演示通过Docker 搭建ElasticSearch ，并使用ik分词器，达到想要的分词效果

IK提供了两个分词算法: ik_smart 和 ik_max_word ,其中ik_smart为最少切分, ik_max_word为最细粒度划分

1.下载 ik分词器插件(版本要与ElasticSearch版本对应)

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

2.解压创建ik目录存储 ik分词器插件

# 安装unzip
yum install -y unzip
# -d <directory>：指定解压缩后文件的目标目录。如果目标目录不存在，unzip 会创建该目录
unzip /home/admin/middle-soft/elasticsearch-analysis-ik-7.10.1.zip -d /home/admin/data/elasticsearch/ik

3.加载ik插件

# docker cp /home/admin/data/elasticsearch/ik es:/usr/share/elasticsearch/plugins
docker rm -f es
# 持久化加载ik分词器 启动es实例
docker run -itd --name es --privileged --network=host --restart always \
-v /home/admin/data/elasticsearch:/bitnami/elasticsearch/data \
-v /home/admin/data/elasticsearch/ik:/usr/share/elasticsearch/plugins/ik \
-e ELASTICSEARCH_USERNAME=elastic -e ELASTICSEARCH_PASSWORD=123456 -e ELASTICSEARCH_TRANSPORT_PORT_NUMBER=9300 -e ELASTICSEARCH_HTTP_PORT_NUMBER=9200 \
-e "discovery.type=single-node" \
elasticsearch:7.10.1

# 校验es状态
curl -X GET "localhost:9200/_cluster/health"

4.重启ES加载 ik插件

# docker restart es

5.查看日志 验证ES是否成功加载 ik分词器插件

docker logs -f es|grep -E 'loaded plugin'
{"type": "server", "timestamp": "2024-09-05T09:16:53,408Z", "level": "INFO", "component": "o.e.p.PluginsService", "cluster.name": "docker-cluster", "node.name": "op-node1", "message": "loaded plugin [analysis-ik]" }

6.添加自定义的词添加到扩展字典中&验证分词生效

vi /home/admin/data/elasticsearch/ik/config/IKAnalyzer.cfg.xml

# 6.1 添加自定义扩展字典
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 -->
        <entry key="ext_dict">ext.dic</entry>
         <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords"></entry>
        <!--用户可以在这里配置远程扩展字典 -->
        <!-- <entry key="remote_ext_dict">words_location</entry> -->
        <!--用户可以在这里配置远程扩展停止词字典-->
        <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

# 6.2 自定义字典文件
vi /home/admin/data/elasticsearch/ik/config/ext.dic
湖人总冠军

# 6.3重启es 验证自定义分词字典生效
docker restart es
docker logs -f es|grep -E 'ext.dic'
{"type": "server", "timestamp": "2024-09-05T09:34:15,531Z", "level": "INFO", "component": "o.w.a.d.Dictionary", "cluster.name": "docker-cluster", "node.name": "op-node1", "message": "[Dict Loading] /usr/share/elasticsearch/plugins/ik/config/ext.dic", "cluster.uuid": "OfNk2bMMTXmItHNejRskUw", "node.id": "4wf5icUQQFm4Dtx6Sh-YAg"  }

# 6.4 通过 cURL 访问 Elasticsearch 并使用 IK 分词器（如 ik_smart）
# 校验是否安装了ik分词器 => 输出 op-node1 analysis-ik 7.10.1 已安装ik分词器
curl -X GET "localhost:9200/_cat/plugins"

# 6.5 创建一个索引并配置 IK 分词器
curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_smart": {
          "tokenizer": "ik_smart"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "ik_smart"
      }
    }
  }
}
'

# 6.6 使用 IK 分词器进行分词操作： 使用 _analyze API 进行分词，可以使用以下 cURL 命令来进行分词
curl -X GET "localhost:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'
{
  "text": "湖人总冠军",
  "analyzer": "ik_smart"
}
'

# 6.7 对比分析 配置自定义扩展字典前后，分词器输出效果
# 未配置自定义扩展字典-分析分词输出:
{"tokens":[{"token":"湖","start_offset":0,"end_offset":1,"type":"CN_CHAR","position":0},{"token":"人","start_offset":1,"end_offset":2,"type":"CN_CHAR","position":1},{"token":"总冠军","start_offset":2,"end_offset":5,"type":"CN_WORD","position":2}]}

# 定义自定义扩展字典后，分词器输出:
{"tokens":[{"token":"湖人总冠军","start_offset":0,"end_offset":5,"type":"CN_WORD","position":0}]}

ES 插件安装，参考：https://blog.csdn.net/kdzandlbj/article/details/135984015