美文网首页ElasticSearch玩转大数据elasticsearch
五十五、Elasticsearch聚合分析--fielddata

五十五、Elasticsearch聚合分析--fielddata

作者: 编程界的小学生 | 来源:发表于2017-07-20 16:38 被阅读66次

    1、问题

    如果真的要对分词的field执行聚合,那么每次都在query-time现场生产fielddata并加载到内存中来,速度可能会比较慢

    2、fielddata预加载

    POST /test_index/_mapping/test_type
    {
      "properties": {
        "test_field": {
          "type": "string",
          "fielddata": {
            "loading" : "eager" 
          }
        }
      }
    }
    

    query-time的fielddata生成和加载到内存,变为index-time,建立倒排索引的时候,会同步生成fielddata并且加载到内存中来,这样的话,对分词field的聚合性能当然会大幅度增强

    2、序号标记预加载

    global ordinal原理解释

    doc1: status1
    doc2: status2
    doc3: status2
    doc4: status1

    有很多重复值的情况,会进行global ordinal标记

    status1 --> 0
    status2 --> 1

    doc1: 0
    doc2: 1
    doc3: 1
    doc4: 0

    建立的fielddata也会是这个样子的,这样的好处就是减少重复字符串的出现的次数,减少内存的消耗

    POST /test_index/_mapping/test_type
    {
      "properties": {
        "test_field": {
          "type": "string",
          "fielddata": {
            "loading" : "eager_global_ordinals" 
          }
        }
      }
    }
    

    若有兴趣,欢迎来加入群,【Java初学者学习交流群】:458430385,此群有Java开发人员、UI设计人员和前端工程师。有问必答,共同探讨学习,一起进步!
    欢迎关注我的微信公众号【Java码农社区】,会定时推送各种干货:


    qrcode_for_gh_577b64e73701_258.jpg

    相关文章

      网友评论

        本文标题:五十五、Elasticsearch聚合分析--fielddata

        本文链接:https://www.haomeiwen.com/subject/iyhjkxtx.html