美文网首页
十六、Elasticsearch查询相关命令及原理

十六、Elasticsearch查询相关命令及原理

作者: 书写只为分享 | 来源:发表于2019-11-22 00:59 被阅读0次

    1、query phase(查询阶段)

    (1)搜索请求发送到某一个coordinate node,构构建一个priority queue,长度以paging操作from和size为准,默认为10

    (2)coordinate node将请求转发到所有shard,每个shard本地搜索,并构建一个本地的priority queue

    (3)各个shard将自己的priority queue返回给coordinate node,并构建一个全局的priority queue

    2、replica shard如何提升搜索吞吐量

    一次请求要打到所有shard的一个replica/primary上去,如果每个shard都有多个replica,那么同时并发过来的搜索请求可以同时打到其他的replica上去

    3、fetch phase(返回阶段)工作流程

    (1)coordinate node构建完priority queue之后,就发送mget请求去所有shard上获取对应的document

    (2)各个shard将document返回给coordinate node

    (3)coordinate node将合并后的document结果返回给client客户端

    4、scroll的用法

    如果一次性要查出来比如10万条数据,那么性能会很差,此时一般会采取用scoll滚动查询,一批一批的查,直到所有数据都查询完处理完

    使用scoll滚动搜索,可以先搜索一批数据,然后下次再搜索一批数据,以此类推,直到搜索出全部的数据来

    scoll搜索会在第一次搜索的时候,保存一个当时的视图快照,之后只会基于该旧的视图快照提供数据搜索,如果这个期间数据变更,是不会让用户看到的

    采用基于_doc进行排序的方式,性能较高

    每次发送scroll请求,我们还需要指定一个scoll参数,指定一个时间窗口,每次搜索请求只要在这个时间窗口内能完成就可以了

    GET /website/article/_search?scroll=1m

    {

      "query": {

        "match_all": {}

      },

      "sort": ["_doc"],

      "size": 2

    }

    获得的结果会有一个scoll_id,下一次再发送scoll请求的时候,必须带上这个scoll_id

    GET /_search/scroll

    {

     "scroll": "1m",

        "scroll_id" :"DnF1ZXJ5VGhlbkZldGNoBQAAAAAAABWHFkJfRXJnd1BqUk5ld19JYUkzemhRN3cAAAAAAAAVhhZCX0VyZ3dQalJOZXdfSWFJM3poUTd3AAAAAAAAFYgWQl9Fcmd3UGpSTmV3X0lhSTN6aFE3dwAAAAAAABWJFkJfRXJnd1BqUk5ld19JYUkzemhRN3cAAAAAAAAVihZCX0VyZ3dQalJOZXdfSWFJM3poUTd3"

    }

    scoll,看起来挺像分页的,但是其实使用场景不一样。分页主要是用来一页一页搜索,给用户看的;scoll主要是用来一批一批检索数据,让系统进行处理的

    相关文章

      网友评论

          本文标题:十六、Elasticsearch查询相关命令及原理

          本文链接:https://www.haomeiwen.com/subject/hezxwctx.html