目录
- from+size分页
1.1 from+size的命令行实现
1.2 from+size的RestHighLevelClient实现 - scroll 分页
2.1 scroll分页的命令行实现
2.2 scroll的RestHighLevelClient实现 - search_after分页
3.1 search_after的命令行实现
3.2 search_after的的RestHighLevelClient实现 - 总结
正文
ES作为数据源的分页查询。 数据量如果过大，使用浅分页可能会引发性能问题，可以考虑search_after深分页，当然是要根据具体业务场景进行分析。
分页一般有三种方式：
- es默认采用的是from+size形式，在深度分页的情况下，这种效率是非常低的，但是可以随机跳转页面；
- scroll search 方式（滚动搜索），官方的建议并不是用于实时的请求，因为每一个 scroll_id 不仅会占用大量的资源（特别是排序的请求），而且是生成的历史快照，对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。
- search_after方式（滚动搜索），可以在实时的情况下处理深度分页，在Es5.x版本后提供的功能，search_after缺点是不能够随机跳转分页，只能是一页一页的向后翻，并且需要至少指定一个唯一不重复字段来排序。
1. from+size分页
Es封装RestHighLevelClient和BulkProcessor的工具类
1.1 from+size的命令行实现
GET /test_demo/_search
{
"query":{
"match_all": {}
},
"from":5000,
"size":10
}
上面意味着es需要在各个分片上匹配排序并得到5010条数据，协调节点拿到这些数据再进行排序，然后结果集中取最后10条数据返回。
上述语句性能低的原因：我们只需要10条数据，而es每个分片都需要执行from+size条数据然后处理后返回。
es为了性能，会限制我们分页的深度，es目前支持最大的max_result_window = 10000，也就是from+size的大小不能超过10000。
image.png
1.2 from+size的RestHighLevelClient实现
/**
* 浅分页查询
*
* @throws IOException
*/
public static void testPage() throws IOException {
SearchRequest searchRequest = new SearchRequest();
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//排序条件
searchSourceBuilder.sort("id", SortOrder.ASC);
searchSourceBuilder.sort("publishTime", SortOrder.DESC);
//分页查询
searchSourceBuilder.from(2);
searchSourceBuilder.size(2);
EsUtil.remoteSearch(searchRequest, searchSourceBuilder);
}
2. scroll 分页
在es中我们分页要请求大数据集或者一次请求要获取大的数据集，scroll[skrəʊl]都是一种非常好的解决方案。
scroll也是滚动搜索。会在第一次搜索的时候，保存一个当时的快照。之后只会基于该旧的视图快照提供数据搜索。在这个期间发生变动，是不会让用户看到的。
官方的建议并不是用于实时的请求，因为每一个 scroll_id 不仅会占用大量的资源（特别是排序的请求），而且是生成的历史快照，对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。
2.1 scroll分页的命令行实现
- 第一步：进行搜索，生成scrollId。
GET test_demo/_search?scroll=1m
{
"size":2,
"query":{
"terms":{
"tag":[
"疫情"
],
"boost":"1.0"
}
}
}
- 后续在使用第一步生成的scrollId进行滚动查询。
POST /_search/scroll
{
"scroll": "5m",
"scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAylJEWQ3Z4cHRTRzVTeXVqRG9YY1R5Q3hYdw=="
}
2.2 scroll的RestHighLevelClient实现
public static void testScroll() throws IOException {
SearchRequest searchRequest = new SearchRequest();
//失效时间为1min
Scroll scroll = new Scroll(TimeValue.timeValueMinutes(1));
//封存快照
searchRequest.scroll(scroll);
/**
* 查询条件
*/
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("tag", "疫情");
searchSourceBuilder.query(termQueryBuilder);
/**
* 分页参数
*/
searchSourceBuilder.size(2);
searchRequest.indices("test_demo");
//放入文档中
searchRequest.source(searchSourceBuilder);
log.info("dsl:" + searchSourceBuilder.toString());
//远程查询
SearchResponse searchResponse = EsUtil.getRestHighLevelClient().search(searchRequest, RequestOptions.DEFAULT);
//元素数量
Iterator<SearchHit> it1 = searchResponse.getHits().iterator();
while (it1.hasNext()) {
SearchHit next = it1.next();
log.info("输出数据:" + next.getSourceAsString());
}
log.info("=======================||");
//计算总数量
long totalCount = searchResponse.getHits().getTotalHits().value;
//得到总页数
int page = (int) Math.ceil((float) totalCount / 2);
//多次遍历分页，获取结果
String scrollId = searchResponse.getScrollId();
for (int i = 1; i <= page; i++) {
//获取到该id
SearchScrollRequest searchScrollRequest = new SearchScrollRequest(scrollId);
searchScrollRequest.scroll(scroll);
SearchResponse response = EsUtil.getRestHighLevelClient().scroll(searchScrollRequest, RequestOptions.DEFAULT);
//打印数据
SearchHits hits = response.getHits();
scrollId = response.getScrollId();
Iterator<SearchHit> iterator = hits.iterator();
while (iterator.hasNext()) {
SearchHit next = iterator.next();
log.info("输出数据:" + next.getSourceAsString());
}
log.info("=======================");
}
}
3. search_after分页
可以在实时的情况下处理深度分页，在Es5.x版本后提供的功能，search_after缺点是不能够随机跳转分页，只能是一页一页的向后翻，并且需要至少指定一个唯一不重复字段来排序。
3.1 search_after的命令行实现
注意：search_after必须指定一个唯一不重复的字段来排序，此处我们指定了两个字段进行排序，
该例子：id是唯一不重复字段，publishTime可能会重复。
GET test_demo/_search
{
"query": {
"match_all": {
}
},
"size": 2,
"sort":[
{"id":"asc"},
{"publishTime":"desc"}
]
}
image.png
注意，结果返回的sort字段，存储的是最后一组的排序字段的值，而search_after在下次搜索时，需要携带该数据。
image.png
最终完成了滚动分页操作。
3.2 search_after的的RestHighLevelClient实现
public static void testSearchAfter() throws IOException {
SearchRequest searchRequest = new SearchRequest();
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//排序条件
searchSourceBuilder.sort("id", SortOrder.ASC);
searchSourceBuilder.sort("publishTime", SortOrder.DESC);
//分页查询
searchSourceBuilder.size(2);
List<SearchHit> remoteSearch = EsUtil.remoteSearch(searchRequest, searchSourceBuilder);
//查询最后一笔数据
SearchHit result = remoteSearch.get(remoteSearch.size() - 1);
//序列化为对象
//分页查询下一页数据
log.info("=====================下一页============================");
SearchRequest searchRequest2 = new SearchRequest();
SearchSourceBuilder searchSourceBuilder2 = new SearchSourceBuilder();
//排序条件
searchSourceBuilder2.sort("id", SortOrder.ASC);
searchSourceBuilder2.sort("publishTime", SortOrder.DESC);
//存储上一次分页的sort信息
searchSourceBuilder2.searchAfter(result.getSortValues());
searchSourceBuilder2.size(2);
EsUtil.remoteSearch(searchRequest2, searchSourceBuilder2);
}
4. 总结
image.png
网友评论