美文网首页
ES分页三种方式对比

ES分页三种方式对比

作者: 叫小七的剑客 | 来源:发表于2020-05-28 09:57 被阅读0次
    分页方式 说明 优点 缺点 使用场景
    from + size 最常用的分页方式,指定分页大小和偏移量可以直接获取到需要的数据。但是内存消耗特别大,而且速度也很一般,当我们指定from = 100000,size = 10 的时候,每个node都会取出top 100000的数据,再进行汇总排序,假设3个node,那么就需要取出3*100000条数据进行排序后,再取top10的数据进行返回。所以ES默认的from+size的限制设置为10000。在数据量到达十万级百万级的时候这种分页方式显然不合理。 数据量小的情况使用最方便,灵活性好,实现简单 内存消耗大,速度一般,数据量大的情况面临深度分页问题 数据量较小且能容忍深度分页问题
    scroll 是一种快照的查询形式,快照一旦形成,本次滚动查询内便无法查出来新增的那些数据,而且scroll是无法进行排序的,也无法指定from,那么我们想查看指定页码的数据就必须将该页数据之前的全部数据取出来再进行丢弃,所以scroll一般用于导出全量数据。 导出全量数据时性能最高 无法反应数据的实时性(快照版本),维护成本高,需要维护一个 scroll_id,并且不支持排序,只能按照文档id排序 海量(全量)数据的导出
    search_after search_after有点类似scroll,但是和scroll又不一样,它提供一个活动的游标,通过上一次查询最后一条数据来进行下一次查询同时可以实时查询出来新增的数据且支持排序。但是不支持跳页查询,即每一次的查询都需要依赖上一次的查询结果,只能一页一页的往下翻。 查询性能最好,不存在深度分页问题,能够反映数据的实时变更 实现复杂,需要有一个全局唯一的字段,连续分页的实现会比较复杂,因为每一次查询都需要上次查询的结果 海量数据的分页(不支持跳页)

    相关文章

      网友评论

          本文标题:ES分页三种方式对比

          本文链接:https://www.haomeiwen.com/subject/gtroahtx.html