ElasticSearch系列文章五 深度分页与批量操作

深度分页与批量操作

深度分页

分页查询

POST /demeter_index/_doc/_search
{
  "query": {
    "match_all": {}
  },
  "from":0,
  "size":10
}

深度分页其实就是搜索的深浅度

# 查询第9999条到10009条数据
POST /demeter_index/_doc/_search
{
  "query": {
    "match_all": {}
  },
  "from":9999,
  "size":10
}

在这里插入图片描述
Result window is too large, from + size must be less than or equal to: [10000] but was [10009]，默认搜索量配置是小于等于10000条。在获取第9999条到10009条数据的时候，其实每个分片都会拿到10009条数据，然后集合在一起，总共是10009*3=30027条数据，针对30027数据再次做排序处理，最终会获取最后10条数据。

如此一来，搜索得太深，就会造成性能问题，会耗费内存和占用cpu。而且es为了性能，他不支持超过一万条数据以上的分页查询。那么如何解决深度分页带来的性能呢？其实我们应该避免深度分页操作（限制分页页数），比如最多只能提供100页的展示，从第101页开始就没了，毕竟用户也不会搜的那么深，我们平时搜索淘宝或者百度，一般也就看个10来页就顶多了。

提高搜索量

通过设置index.max_result_window来突破10000数据

PUT /demeter_index/_settings
{
  "index.max_result_window": "20000"
}

再去查询第9999条到10009条数据，就不会报错了

在这里插入图片描述

scroll滚动搜索

一次性查询1万+数据，往往会造成性能影响，因为数据量太多了，这个时候可以使用滚动搜索，也就是scroll。

滚动搜索可以先查询出一些数据，然后再紧接着依次往下查询，在第一次查询的时候会有一个滚动id，相当于一个锚标记，随后再次滚动搜索会需要上一次搜索的锚标记，根据这个进行下一次的搜索请求。每次搜索都是基于一个历史的数据快照，查询数据的期间，如果有数据变更，那么和搜索是没有关系的，搜索的内容还是快照中的数据。

• scroll=1m，相当于是一个session会话时间，搜索保持的上下文时间为1分钟。

POST /demeter_index/_search?scroll=1m
{
  "query": {
    "match_all": {}
  },
  "sort":["_doc"],
  "size":5
}

在这里插入图片描述

• 再次查询需要上一次搜索的scroll_

POST    /_search/scroll
{
    "scroll": "1m", 
    "scroll_id" : "your last scroll_id"
}

在这里插入图片描述

批量查询 _mget

_mget，一般来说，进行查询的时候，如果一次性查询多条数据的话，那么一定要用batch批量操作的api，尽可能减少网络开销次数，提高性能

# 在同一索引下批量查询
POST /demeter_index/_doc/_mget
{
  "ids": [
    "1001",
    "1003",
    "1005"
  ]
}

多文档批量查询

POST /_mget
{
    "docs": [{
        "_index": "demeter_index",
        "_id": 1001
    }, {
        "_index": "my_doc",
        "_id": "cOAX8nEB2HPj9Je2NaEz"
    }]
}

批量操作 bulk

基本语法

bulk操作和以往的普通请求格式有区别。不要格式化json，不然就不再同一行。

{ action: { metadata }}\n
{ request body        }\n
{ action: { metadata }}\n
{ request body        }\n
...

• { action: { metadata }}代表批量操作的类型，可以是新增、删除或修改
• \n是每行结尾必须填写的一个规范，每一行包括最后一行都要写，用于es的解析
• { request body }是请求body，增加和修改操作需要，删除操作则不需要

批量操作的类型

action必须是以下选项之一：

• create：如果文档不存在，那么就创建它，存在会报错。发生异常报错不会影响其他操作。
• index：创建一个新文档或者替换一个现有的文档。
• update：部分更新一个文档
• delete：删除一个文档。

metadata中需要指定要操作的文档的_index、_type和_id, _index、_type也可以在url中指定。

create

create新增文档数据，在metadata中指定index以及type

POST /_bulk
{"create":{"_index":"demeter_index","_type":"_doc","_id":2001}}
{"id": 2001,"age": 19,"username": "test","nickname": "test","money": 77.8, "desc": "testtest","sex": 1,"birthday": "1993-01-24","face": ""}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vpogMnNv-1590655447793)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20200520180110303.png)]

create新增已有id的文档，再次执行上一次命令，会报错提示文档已经存在。

在这里插入图片描述

index

index创建，已有文档id会被覆盖，不存在的id则新增

测试id为2001的文档，会覆盖之前的创建id为2001的文档

POST /_bulk
{"index":{"_index":"demeter_index","_type":"_doc","_id":2001}}
{"id": 2001,"age": 19,"username": "index","nickname": "index","money": 77.8, "desc": "index测试","sex": 1,"birthday": "1993-01-24","face": ""}

在这里插入图片描述

新增

POST /_bulk
{"index":{"_index":"demeter_index","_type":"_doc","_id":2002}}
{"id": 2002,"age": 19,"username": "index","nickname": "index","money": 77.8, "desc": "index新增","sex": 1,"birthday": "1993-01-24","face": ""}

在这里插入图片描述

update

更新部分文档数据

POST /_bulk
{"update":{"_index":"demeter_index","_type":"_doc","_id":2001}}
{"doc":{"desc":"update操作"}}
{"update":{"_index":"demeter_index","_type":"_doc","_id":2002}}
{"doc":{"desc":"update操作"}}

在这里插入图片描述
在这里插入图片描述

delete

POST    /demeter_index/_doc/_bulk
{"delete": {"_id": "2001"}}
{"delete": {"_id": "2002"}}