美文网首页
es多字段查询评分机制

es多字段查询评分机制

作者: 领带衬有黄金 | 来源:发表于2019-11-27 14:40 被阅读0次

三种查询机制

最佳字段

当搜索词语具体概念的时候,比如 “brown fox” ,词组比各自独立的单词更有意义。像 titlebody 这样的字段,尽管它们之间是相关的,但同时又彼此相互竞争。文档在 相同字段 中包含的词越多越好,评分也来自于 最匹配字段

多数字段

为了对相关度进行微调,常用的一个技术就是将相同的数据索引到不同的字段,它们各自具有独立的分析链。
主字段可能包括它们的词源、同义词以及 变音词 或口音词,被用来匹配尽可能多的文档。
相同的文本被索引到其他字段,以提供更精确的匹配。一个字段可以包括未经词干提取过的原词,另一个字段包括其他词源、口音,还有一个字段可以提供 词语相似性 信息的瓦片词(shingles)。
其他字段是作为匹配每个文档时提高相关度评分的 信号匹配字段越多 则越好。

混合字段

对于某些实体,我们需要在多个字段中确定其信息,单个字段都只能作为整体的一部分:

  • Person: first_namelast_name (人:名和姓)
  • Book: titleauthordescription (书:标题、作者、描述)
  • Address: streetcitycountrypostcode (地址:街道、市、国家和邮政编码)

多字符串查询

最简单的多字段查询可以将搜索项映射到具体的字段。如果我们知道 War and Peace 是标题,Leo Tolstoy 是作者,很容易就能把两个条件用 match 语句表示,并将它们用 bool 查询 组合起来:

GET /_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "title":  "War and Peace" }},
        { "match": { "author": "Leo Tolstoy"   }}
      ]
    }
  }
}

bool 查询采取 more-matches-is-better 匹配越多越好的方式,所以每条 match 语句的评分结果会被加在一起,从而为每个文档提供最终的分数 _score 。能与两条语句同时匹配的文档比只与一条语句匹配的文档得分要高。

当然,并不是只能使用 match 语句:可以用 bool 查询来包裹组合任意其他类型的查询,甚至包括其他的 bool 查询。我们可以在上面的示例中添加一条语句来指定译者版本的偏好:

GET /_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "title":  "War and Peace" }},
        { "match": { "author": "Leo Tolstoy"   }},
        { "bool":  {
          "should": [
            { "match": { "translator": "Constance Garnett" }},
            { "match": { "translator": "Louise Maude"      }}
          ]
        }}
      ]
    }
  }
}

为什么将译者条件语句放入另一个独立的 bool 查询中呢?所有的四个 match 查询都是 should 语句,所以为什么不将 translator 语句与其他如 title 、 author 这样的语句放在同一层呢?

答案在于评分的计算方式。 bool 查询运行每个 match 查询,再把评分加在一起,然后将结果与所有匹配的语句数量相乘,最后除以所有的语句数量。处于同一层的每条语句具有相同的权重。在前面这个例子中,包含 translator 语句的 bool 查询,只占总评分的三分之一。如果将 translator 语句与 title 和 author 两条语句放入同一层,那么 title 和 author 语句只贡献四分之一评分。

语句的优先级

前例中每条语句贡献三分之一评分的这种方式可能并不是我们想要的,我们可能对 title 和 author 两条语句更感兴趣,这样就需要调整查询,使 title 和 author 语句相对来说更重要。

在武器库中,最容易使用的就是 boost 参数。为了提升 titleauthor 字段的权重,为它们分配的 boost 值大于 1

GET /_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { (1)
            "title":  {
              "query": "War and Peace",
              "boost": 2
        }}},
        { "match": { (1)
            "author":  {
              "query": "Leo Tolstoy",
              "boost": 2
        }}},
        { "bool":  { (2)
            "should": [
              { "match": { "translator": "Constance Garnett" }},
              { "match": { "translator": "Louise Maude"      }}
            ]
        }}
      ]
    }
  }
}
  1. titleauthor 语句的 boost 值为 2

  2. 嵌套 bool 语句默认的 boost 值为 1

要获取 boost 参数 “最佳” 值,较为简单的方式就是不断试错:设定 boost 值,运行测试查询,如此反复。 boost 值比较合理的区间处于 110 之间,当然也有可能是 15 。如果为 boost 指定比这更高的值,将不会对最终的评分结果产生更大影响,因为评分是被 归一化的(normalized)

相关文章

  • es多字段查询评分机制

    三种查询机制 最佳字段 当搜索词语具体概念的时候,比如 “brown fox” ,词组比各自独立的单词更有意义。像...

  • 数据查询

    ES查询用例 单个index 1、全文检索 多字段查询 2、地图搜索 地图字段查询,依赖数据中包含带有geo_lo...

  • Elasticsearch Search API

    在ES中,text类型的字段,保存时会分词,查询时也会分词后进行查询。而keyword类型字段保存和查询时都不会分...

  • ElasticSearch 7.x 聚合查询

    聚合查询 |ES 的聚合查询和MyQL的聚合查询类型,ES 的聚合查询相比MySQL 要强大的多,ES提供的统计数...

  • 再次学习ES--3--查询DSL

    说一千,道一万,我们最终使用ES还是要使用es的查询功能 1 Lucene是如何评分的 文档得分,就是文档和查询匹...

  • ES简单实用DSL查询

    ES版本信息 查看所有索引 查看字段类型 创建索引 删除索引 批量(_bulk)加载数据 查询数据 查询1000条...

  • ElasticSearch查询DLS

    查询和过滤的区别 ES提供基于JSON的完整DSL来定义查询,查询DSL包括两种子句:叶查询子句:在特定的字段上查...

  • 数据库学习笔记-基础查询

    基础查询 查询字段语法 查询单字段SELECT 字段 FROM 表名;查询多字段SELECT 字段1,字段2,字段...

  • 对Elasticsearch字段进行去重,结果保存为文件

    前情提要 据任务要求:从ES集群中查询出ip字段,对ip字段去重,并且将纯净的ip保存到文件中。这里基于某个字段去...

  • ES RequestBodySearch - nested

    7.6 官方文档 nested 查询 es 默认会把字段拍平, 举个栗子,比如下面这样的数据: 如果我们查找 An...

网友评论

      本文标题:es多字段查询评分机制

      本文链接:https://www.haomeiwen.com/subject/tmupwctx.html