美文网首页
Elasticsearch实战 第七章 使用聚集来探索数据

Elasticsearch实战 第七章 使用聚集来探索数据

作者: kaiker | 来源:发表于2021-11-29 11:54 被阅读0次

    聚集加载了和搜索相匹配的文档,并且完成了各种计算。主要有两个类别,度量,一组文档的统计分析;桶,将匹配的文档切分为一个或多个容器,然后告知每个桶里的文档数量。

    默认情况下,在查询结果上运行聚集。

    1、理解聚集的具体结构

    聚集请求的结构

    curl 'localhost:9200/get-together/group/_search?pretty' -d'{
      "aggregations":{
        "top_tags":{ // 聚集的名字
          "terms":{ // 在数据字段上聚集
            "field":"tags.verbatim"
          }
        }
      }
    }'
    

    查询结果上的聚集

    curl 'localhost:9200/get-together/group/_search?pretty' -d'{
      "query":{
        "match":{
          "location":"Denver"
        }
      }
      "aggregations":{
        "top_tags":{ // 聚集的名字
          "terms":{ // 在数据字段上聚集
            "field":"tags.verbatim"
          }
        }
      }
    }'
    

    过滤器和聚集

    • 也有后过滤器,即使和后过滤器不匹配,仍然会被聚集操作操作计算在内


      过滤器和聚集组合使用

    2、度量聚集

    统计数据

    • 在script放入一小段代码,为每篇文档返回一个数组
    curl 'localhost:9200/get-together/group/_search?pretty&search_type=count' -d'{
      "aggregations":{
        "attendees_avg":{ 
          "avg":{ 
            "script":"doc['"'attendees'"'].values.length"
          }
        }
      }
    }'
    

    高级统计

    • 使用extended_stats聚集来获取数值字段的平方值、方差和标准差
    curl 'localhost:9200/get-together/group/_search?pretty&search_type=count' -d'{
      "aggregations":{
        "attendees_extended_stats":{ 
          "extended_stats":{ 
            "script":"doc['"'attendees'"'].values.length"
          }
        }
      }
    }'
    

    近似统计

    • 计算百分位
    • 基数(cardinality) 如果求唯一值,内存很可能缓存不了这么多数据,使用HLL算法做近似计算

    3、多桶型聚集

    多桶型聚集是将文档放入不同桶中,就像根据标签对文档进行分组

    词条聚集

    curl 'localhost:9200/get-together/group/_search?pretty&search_type=count' -d'{
      "aggregations":{
        "tags":{ 
          "terms":{ 
            "field":"tags.verbatim",
            "order":{
              "_term":"asc"
            }
          }
        }
      }
    }'
    
    • 如果按照度量聚集统计值来排序,由于是按照节点统计,取每个节点的前几个,最后汇总再取,可能会丢东西
    取前两位,每个节店取前3个
    • 默认情况下,ES使用一次处理来进行聚集,但如果有很多桶和子聚集,将会消耗大量的时间和内存。二次处理可以首先创建顶层聚集的桶,然后缓存排名靠前的X个结果,只对前X个进行子聚集计算。

    range聚集

    curl 'localhost:9200/get-together/group/_search?pretty&search_type=count' -d'{
      "aggregations":{
        "attendees_breakdown":{
          "range":{
            "script":"doc['"'attendees'"'].values.length",
            "ranges":[
              {"to":4},
              {"from":4, "to":6},
              {"from":6}
            ]
          }
        }
      }
    }'
    
    • 日期也有单独的range聚集写法
    curl 'localhost:9200/get-together/group/_search?pretty&search_type=count' -d'{
      "aggregations":{
        "attendees_breakdown":{
          "date_range":{
            "field":"date",
            "format":"YYYY.MM"
            "ranges":[
              {"to":2013.07},
              {"from":2013.07}
            ]
          }
        }
      }
    }'
    

    直方图聚集

    4、嵌套聚集

    多桶聚集通常是开始聚集的起点。

    terms聚集中嵌套data_histgram

    嵌套多桶聚集

    curl 'localhost:9200/get-together/group/_search?pretty&search_type=count' -d'{
      "aggregations":{
        "top_tags":{
          "terms":{
            "field":"tag.verbatim"
          },
          "aggregations":{
            "groups_per_month":{
              "date_histogram":{
                "field":"created_on",
                "interval":"1M"
              }
            }
          }
        }
      }
    }'
    

    通过嵌套聚集获得结果分组

    按照特定的分类将排名靠前的结果进行分组

    结果分组

    单桶聚集

    • 如果不希望在查询结果上聚集,可以使用单桶聚集
    • global聚集,把所有文档都进行聚集
    curl 'localhost:9200/get-together/group/_search?pretty&search_type=count' -d'{
      "query":{
        "match":{
          "name":"elasticsearch"
        }
      },
      "aggregations":{
        "all_documents":{
          "global":{
          },
          "aggregations":{
            "top_tags":{
              "terms":{
                "field":"tags.verbatim"
              }
            }
          }
        }
      }
    }'
    
    • filter聚集,限制聚集统计的文档,不影响查询结果
    curl 'localhost:9200/get-together/group/_search?pretty&search_type=count' -d'{
      "query":{
        "match":{
          "name":"elasticsearch"
        }
      },
      "aggregations":{
        "since_july":{
          "filter":{
            "range":{
              "date":{"gt":"2013-07-01T00:00"}
            }
          },
          "aggregations":{
            "description_cloud":{
              "terms":{
                "field":"description"
              }
            }
          }
        }
      }
    }'
    
    • missing聚集,如果有字段有缺失,可以使用missing聚集进行统计

    相关文章

      网友评论

          本文标题:Elasticsearch实战 第七章 使用聚集来探索数据

          本文链接:https://www.haomeiwen.com/subject/azxhxrtx.html