背景介绍

在论坛类型的数据中,特别是涉及到可能有大量营销号的时候,有个要面对的情况就是,要如何对数据进行"去重".这个去重并非真正的去重,而是说去掉人眼认为大量"相同的"数据.营销号们将一条内容反复发布数次,就会造成在召回结果中的某一页(可能是几页)充斥着大量看过去就一模一样的内容,这些内容在数据的意义上是不同的,但是在用户体验上,他们就属于应该被折叠的内容.

思路方案

首先最重要的一点还是要定义什么样的数据算重复这个问题.借助优秀的团队分工,有算法组的同事通过响应算法对数据进行打标,将算法判定为重复的数据打上相同的id,也就是说,余下的问题可以简化为,我们如何在做数据召回的时候,做到相同重复id的数据只召回一条.
这里有两种方案

1. top_hits + 聚合统计agg
2. es5以后的新特性collapse

这里主要介绍方案2,方案1测试完就不考虑了,性能慢的令人发指.

实施过程

首先还是我们准备好数据,索引库的数据类似以下的结构

{
    "_id": xxxx,
    ......
    "dumplicate_id"
}

_id是数据的主键,而dumplicate_id则是我们的重复组id.接下来的工作就是,在召回过程中屏折叠重复数据.接下来放上召回es语句的demo

{
    "from": 0,
    "size": 12,
    "query": {
        "bool": {
            "should": [{
                "match": {
                    "field1": {
                        "query": "aaa",
                        "operator": "OR",
                        "prefix_length": 0,
                        "max_expansions": 50,
                        "fuzzy_transpositions": true,
                        "lenient": false,
                        "zero_terms_query": "NONE",
                        "auto_generate_synonyms_phrase_query": true,
                        "boost": 1.0
                    }
                }
            }, {
                "match": {
                    "field2": {
                        "query": "aaa",
                        "operator": "OR",
                        "prefix_length": 0,
                        "max_expansions": 50,
                        "fuzzy_transpositions": true,
                        "lenient": false,
                        "zero_terms_query": "NONE",
                        "auto_generate_synonyms_phrase_query": true,
                        "boost": 0.1
                    }
                }
            }],
            "adjust_pure_negative": true,
            "minimum_should_match": "1",
            "boost": 1.0
        }
    },
    "collapse": {
        "field": "duplicate_id",         //要进行折叠的字段
        "inner_hits": {                      //折叠的参数集
            "name": "test",              //折叠的name,目前没有发现哪里有用到的地方,可能在多个折叠情况下有用
            "ignore_unmapped": true,  //默认为false,如果存在一些数据没有折叠字段的会报错,设置为true可以避免类似的报错
            "from": 0,
            "size": 0,                         //from和size用来控制想要返回的折叠列表,这里我的需求是重复id相同仅返回头条,所以两个参数均设置为0,如果有需求折叠列表的可以通过这里控制
            "version": false,
            "explain": false,
            "track_scores": true,
            "sort": [{                          //折叠列表的排序,折叠列表中要把谁显示在第一个的排序,比如这样做是将该折叠列表的数据按字段level倒序排列.
                "level": {
                    "order": "desc"
                }
            }]
        }
    }
}

collapse是和from,size,query等结构是同级并列的情况,耗时上也非常可观,它并不是在整个索引库里面进行折叠,而是在召回结果拿到以后再进行的折叠,效率上肯定比方案1的top_hits+agg来的高效,而且这个也是es5专门为这个场景设计的功能.
最后放上java代码如何使用api的demo

        CollapseBuilder collapseBuilder = new CollapseBuilder("duplicate_id");
            InnerHitBuilder innerHitBuilder = new InnerHitBuilder();
            innerHitBuilder.setName("test");
            innerHitBuilder.setSize(0);
            innerHitBuilder.setTrackScores(true);
            innerHitBuilder.setIgnoreUnmapped(true);
            innerHitBuilder.addSort(SortBuilders.fieldSort("level").order(SortOrder.DESC));
            collapseBuilder.setInnerHits(innerHitBuilder);

            ......

            srb = client.prepareSearch(indexName)
                        .setTypes(typeName)
                        .setQuery(bqb)
                        .setFrom(params.getFrom())
                        .setSize(params.getSize())
                        .setCollapse(collapseBuilder)
                        .setPreference("_primary_first");