Elasticsearch 分词器、分页问题、批量文档操作

作者: dylan丶QAQ | 来源:发表于2020-10-21 15:15 被阅读0次

Elasticsearch 分词器、分页问题、批量文档操作
一个非常hao用的elasticsearch中文分词器插件 Ha
ElasticSearch 文档的增删改查都不会？
elk--笔记6-安装ik分词器
SpringBoot1.5.x集成Elasticsearch
ElasticSearch系列文章五深度分页与批量操作
二、ElasticSearch 使用java接口创建索引及操作文
ElasticSearch批量操作
Elasticsearch批量操作
elasticsearch 文档操作

起因：在项目开发过程中，要使用到搜索引擎来对一些关键字实现逆向查询，如果仅用模糊搜索，那么搜索的时间会根据数据量的增大而增大，对比之下就学了elasticsearch，也记录一下，常常回顾。

1. ES如何对一个字段同时使用中文和拼音分词器

拼音分词器
ik中文分词

# 下载拼音分词器
# elasticsearch-analysis-pinyin-7.5.2.zip
# Github: elasticsearch-analysis-pinyin
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.5.2/elasticsearch-analysis-ik-7.5.2.zip

unzip elasticsearch-analysis-pinyin-7.5.2.zip -d /usr/local/elasticsearch/elasticsearch-7.5.2/plugins/pinyin

GET /_analyze
{
 "text":"艾编程",
 "analyzer":"pinyin"
}
# 需求场景：我们需要对一个字段既可以进行中文搜索，也可以进行拼音搜索
# index的常规设置mapping
# 一个字段可以给自己设置子字段来增加新的type和分词器
{
 "properties": {
 "id": {
 "type": "long"
 },
 "age": {
 "type": "integer"
 },
 "username": {
 "type": "keyword"
 },
 "nickname": {
 "type": "text",
 "analyzer": "ik_max_word",
 "fields": {
 "pinyin": {
 "type": "text",
 "analyzer": "pinyin"
 },
 "keyword":{
 "type":"keyword",
 "ignore_above": 256
 }
 }
 },
 "consume": {
 "type": "float"
 },
 "desc": {
 "type": "text",
 "analyzer": "ik_max_word"
 },
 "sex": {
 "type": "byte"
 },
 "birthday": {
 "type": "date"
 },
 "city": {
 "type": "keyword"
 },
 "faceimg": {
 "type": "text",
 "index": false
 }
 }
}
# 搜索的时候同时支持中文，拼音
GET /index_customer/_search
{
 "query":{
 "multi_match":{
 "query": "chuanzhang",
 "fields":["nickname","nickname.pinyin"]
 }
 }
}
# 在前端调用声明分词器
GET /index_customer/_search
{
 "query": {
 "match": {
 "nickname": {
 "query": "太阳",
 "analyzer": "ik_max_word"
 }
 }
 }
}

看elasticsearch里安装成功的插件

image-20200219203725366.png

2. Elasticsearch深度分页问题分析与解决

2.1. 什么是深度分页

深度分页就是我们搜索的深浅度，比如第1页，第2页，第100页都是比较浅的，如果第1w页，第2w页这就比较深。

先看一下MySQL

select * from im_order limit 100000,30;

这样就会非常慢，这就涉及深度分页，就会比较慢

慢的原因是什么：MySQL的limit m,n的工作原理是先读取符合where条件的m+n的记录，要把这些数据全拿到内存中，然后抛弃前m条，返回后面的n条，所以m越大，偏移量就越大，性能就越差，大部分ORM框架都是如此

select * from im_order where id>100000 limit 30;

但前提是：

主键id一定要连续，否则数据就会出现不连贯的情况
不好进行总页数的计算了，只能进行上一页和下一页的操作了
进行这样的优化，需要记住上次的点位

解决方案

上一页 1 2 3 4 5 6 7 8 9 10 下一页

2.2. Elasticsearch中深度分页的问题如何处理

GET /index_customer/_search
{
 "query": {
 "match_all": {}
 },
 "from":0,
 "size":12
}
GET /index_customer/_search
{
 "query": {
 "match_all": {}
 },
 "from":9999,
 "size":10
}
# Result window is too large, from + size must be less than or equal to: [10000] but was [10009]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting.

elasticsearch默认也不允许你查询10000条以后的数据

ES中每个分片存储不同的数据，所有分片总和是这个集群的完整数据
去每个分片上都要拿10009条，然后集合在一起，如果3个分片：3*10009条数据，针对30027进行排序_score，最终取到你想要的10条
因此ES默认不支持10000条以上的查询

如果恰巧你的数据就只有12000条

# 先看下这个属性
GET /index_customer/_settings
# 修改深度
PUT /index_customer/_settings
{
 "index.max_result_window": "20000"
}
# 注意，这种方式救急可以，但不要拿来常用，这是缓兵之计

2.3. 滚动搜索scroll

介绍一个滚动搜索

scroll可以先查询出一些数据，然后依次往下查询
在第一次查询的时候会有一个滚动id，这个id就是一个锚标记，每次都需要记录和使用这个锚标记
每次搜索都是基于历史的数据快照，查询数据期间，如果数据有变更，快照数据不变

如何使用

# 这个m就是滚动查询的上下文时间，m是分钟的意思
# 这是第一次查询，第一次查询需要设置偏移量：size就是页容量
POST /index_customer/_search?scroll=1m
{
 "query": {
 "match_all": {}
 },
 "sort": ["_doc"],
 "size": 3
}

第二次，第三次

# 第二次第三次滚动需要将每次返回的_scroll_id填入当次
# 滚动过程不用写查询条件了
# 不要写index名，直接写_search
# 1m是滚动数据的过期时间，每次都要设置，单位是m分钟
POST /_search/scroll
{
 "scroll": "1m",
 "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAABcWc2d3clU2QzRSMXFvVjIySHdzZmgzUQ=="
}

如果请求指定了聚合数据（aggregation），仅第一次数据才会包含聚合结果

3. Elasticsearch进行批量文档操作

3.1. 批量查询doc

# 只查一个
GET /index_customer/_doc/1001
# 通过DSL可以进行批量查询
POST /index_customer/_search
{
 "query":{
 "ids":{
 "type":"_doc",
 "values":["1001","1009","1010"]
 }
 },
 "_source":["id","username","nickname","desc"]
}

使用_mget来进行查询

POST /index_customer/_doc/_mget
{
 "ids": ["1001","1009","1010"]
}

3.2. 批量操作bulk

基本语法

{ action: { metadata}}\n
{ request body       }\n
{ action: { metadata}}\n
{ request body       }\n
{ action: { metadata}}\n
{ request body       }\n
...

{ action: { metadata}}：代表批量操作的类型，可以新增，删除，修改
\n：每行必须是回车换行，不要用json解析器来格式
{ request body }：就是你的具体doc数据

批量操作的类型

action必须是以下选项之一

create：文档不存在则创建，存在则报错，但发生异常不会影响其他行的数据导入
index：文档不存在则创建，存在则覆盖
update：部分更新一个文档
delete：批量删除

3.3. create/index操作

# 不用加索引名，直接在路径里写_bulk
POST /_bulk
{"create":{"_index":"index_customer","_type":"_doc","_id":"1013"}}
{"id":1013,"age":30,"username":"wangge","nickname":"大哥就是棒","consume":16899.99,"desc":"就喜欢研究技术，非常喜欢和大家交流","sex":1,"birthday":"1990-10-22","city":"杭州","faceimg":"https://www.icodingedu.com/img/customers/1013/logo.png"}
{"create":{"_index":"index_customer","_type":"_doc","_id":"1014"}}
{"id":1014,"age":28,"username":"lichangming","nickname":"永远光明","consume":14899.99,"desc":"非常喜欢和大家交流Java技术和架构心得","sex":1,"birthday":"1992-09-22","city":"北京","faceimg":"https://www.icodingedu.com/img/customers/1014/logo.png"}

# 注意最后一行也必须有回车

POST /_bulk
{"index":{"_index":"index_customer","_type":"_doc","_id":"1013"}}
{"id":1013,"age":30,"username":"wangge","nickname":"大哥就是棒","consume":16899.99,"desc":"就喜欢研究技术，非常喜欢和大家交流","sex":1,"birthday":"1990-10-22","city":"杭州","faceimg":"https://www.icodingedu.com/img/customers/1013/logo.png"}
{"index":{"_index":"index_customer","_type":"_doc","_id":"1014"}}
{"id":1014,"age":28,"username":"lichangming","nickname":"永远光明","consume":14899.99,"desc":"非常喜欢和大家交流Java技术和架构心得","sex":1,"birthday":"1992-09-22","city":"北京","faceimg":"https://www.icodingedu.com/img/customers/1014/logo.png"}

也可以在index资源路径下来进行操作

POST /index_customer/_doc/_bulk
{"index":{"_id":"1013"}}
{"id":1013,"age":30,"username":"wangge","nickname":"大哥就是棒","consume":16899.99,"desc":"就喜欢研究技术，非常喜欢和大家交流","sex":1,"birthday":"1990-10-22","city":"杭州","faceimg":"https://www.icodingedu.com/img/customers/1013/logo.png"}
{"index":{"_id":"1014"}}
{"id":1014,"age":28,"username":"lichangming","nickname":"永远光明","consume":14899.99,"desc":"非常喜欢和大家交流Java技术和架构心得","sex":1,"birthday":"1992-09-22","city":"北京","faceimg":"https://www.icodingedu.com/img/customers/1014/logo.png"}

3.4. update/delete操作

批量更新

POST /index_customer/_doc/_bulk
{"update":{"_id":"1013"}}
{"doc":{"nickname":"一只花骨朵"}}
{"update":{"_id":"1014"}}
{"doc":{"desc":"对架构师课程感兴趣，所以报名艾编程学习"}}

批量删除

POST /index_customer/_doc/_bulk
{"delete":{"_id":"1013"}}
{"delete":{"_id":"1014"}}

所有批量的操作：create、index、update、delete都可以放在一起执行

需要注意的点

由于批量操作是加载到内存中的，如果值比较多，会比较慢
所有操作在一起只需符合语法规则，内容可以多样

不要以为每天把功能完成了就行了，这种思想是要不得的，互勉~！

Elasticsearch 分词器、分页问题、批量文档操作
起因：在项目开发过程中，要使用到搜索引擎来对一些关键字实现逆向查询，如果仅用模糊搜索，那么搜索的时间会根据数据量...
一个非常hao用的elasticsearch中文分词器插件 Ha
首先上地址 elasticsearch (es) hao 分词器中文分词器elasticsearch-analy...
ElasticSearch 文档的增删改查都不会？
本文主要是介绍 ElasticSearch 的文档增删改查和批量操作，同时会介绍一些 REST API 返回状态码...
elk--笔记6-安装ik分词器
elasticsearch默认分词器的了解elasticsearch的ik分词器的安装（ik由国内大神开源）ik分...
SpringBoot1.5.x集成Elasticsearch
分词器搜索全匹配查询低版本springboot集成es问题 logstash同步问题 Elasticsearch...
ElasticSearch系列文章五深度分页与批量操作
深度分页与批量操作深度分页分页查询深度分页其实就是搜索的深浅度，默认搜索量配置是小于等于10000条。在获...
二、ElasticSearch 使用java接口创建索引及操作文
ElasticSearch (2)使用java接口创建索引及操作文档所有Elasticsearch操作都是使用C...
ElasticSearch批量操作
Batch Processing 支持批量操作可以减少网络交互流量 POST /customer/external...
Elasticsearch批量操作
elasticsearch提供了批量操作来读取数据和检索欢迎访问本人博客：http://wangnan.tech...
elasticsearch 文档操作
1：索引文档PUT /IndexName/indexType/ID {"userName" : "lisi"}2：...