美文网首页ElasticSearch玩转大数据elasticsearch
五十三、Elasticsearch聚合分析--fielddata

五十三、Elasticsearch聚合分析--fielddata

作者: 编程界的小学生 | 来源:发表于2017-07-20 16:14 被阅读55次

    1、fielddata核心原理

    fielddata加载到内存的过程是lazy加载的,对一个analyzed field执行聚合时,才会加载,而且是field-level加载的。

    一个index的一个field,所以doc都会被加载,而不是少数doc。
    不是index-time创建,而且query-time创建

    2、fielddata内存限制

    indices.fielddata.cache.size:20%,超出限制,清除内存已有fielddata数据。这个是写到es.yml里的

    fielddata占用的内存超出了这个比例的限制,那么就清除掉内存中已有的fielddata数据。

    默认无限制,限制内存使用,但是会导致频繁evict和reload,大量IO性能损耗,以及内存碎片和gc

    3、监控fielddata内存使用情况

    GET /_stats/fielddata?fields=*
    GET /_nodes/stats/indices/fielddata?fields=*
    GET /_nodes/stats/indices/fielddata?level=indices&fields=*
    

    4、circuit breaker

    如果一次query load的feilddata超过总内存,就会oom --> 内存溢出

    circuit breaker会估算query要加载的fielddata大小,如果超出总内存,就短路,query直接失败

    indices.breaker.fielddata.limit:fielddata的内存限制,默认60%
    indices.breaker.request.limit:执行聚合的内存限制,默认40%
    indices.breaker.total.limit:综合上面两个,限制在70%以内
    

    也是配置到es.yml中的

    若有兴趣,欢迎来加入群,【Java初学者学习交流群】:458430385,此群有Java开发人员、UI设计人员和前端工程师。有问必答,共同探讨学习,一起进步!
    欢迎关注我的微信公众号【Java码农社区】,会定时推送各种干货:


    qrcode_for_gh_577b64e73701_258.jpg

    相关文章

      网友评论

      • MJ爱运动:你好 我想问一下 indices.fielddata.cache.size 这个值要设置成多大比较合适呢?太小会对磁盘造成一定的压力,目前服务器磁盘压力已经有点大了。有什么方法可以预估一下吗?服务器内存是16G的 谢谢

      本文标题:五十三、Elasticsearch聚合分析--fielddata

      本文链接:https://www.haomeiwen.com/subject/zeqjkxtx.html