美文网首页
检索文档(sense)基础语法

检索文档(sense)基础语法

作者: 严重思想跑偏患者 | 来源:发表于2019-03-21 09:29 被阅读0次

    检索文档操作 (sense)

    ElasticSearch版本 2.4.2 ,新版本有待学习。

    1. 检索单条文档

    这在 Elasticsearch 中很简单。

    一个 HTTP GET 请求并指定文档的地址——索引库、类型和ID。

    使用这三个信息可以返回原始的 JSON 文档:

    GET /megacorp/employee/1

    返回结果包含了文档的一些元数据,以及 _source 属性,内容是 John Smith 雇员的原始 JSON 文档:

    {
      "_index": "megacorp",
      "_type": "employee",
      "_id": "1",
      "_version": 1,
      "found": true,
      "_source": {
          "first_name": "John",
          "last_name": "Smith",
          "age": 25,
          "about": "I love to go rock climbing",
          "interests": [
            "sports",
            "music"
          ]
      }
    }
    

    2. 轻量搜索

    • 请求所有的雇员

    GET /megacorp/employee/_search

    可以看到,我们仍然使用索引库 megacorp 以及类型 employee,但与指定一个文档 ID 不同,这次使用 _search 。

    返回结果包括了所有三个文档,放在数组 hits 中。一个搜索默认返回十条结果。

    返回结果不仅告知匹配了哪些文档,还包含了整个文档本身:显示搜索结果给最终用户所需的全部信息。

    • 接下来,尝试下搜索姓氏为 Smith 的雇员。

    为此,我们将使用一个 高亮 搜索,很容易通过命令行完成。

    这个方法一般涉及到一个 查询字符串 (query-string) 搜索,我们通过一个URL参数来传递查询信息给搜索接口:

    GET /megacorp/employee/_search?q=last_name:Smith

    具体返回结果含义再行解释

    3. 使用查询表达式搜索

    Query-string 搜索通过命令非常方便地进行临时性的即席搜索 ,但它有自身的局限性(参见 轻量 搜索 )。

    Elasticsearch 提供一个丰富灵活的查询语言叫做 查询表达式 , 它支持构建更加复杂和健壮的查询。

    领域特定语言 (DSL), 指定了使用一个 JSON 请求。我们可以像这样重写之前的查询所有 Smith 的搜索 :

    GET /megacorp/employee/_search
    {
        "query": {
            "match": {
              "last_name": "Smith"
            }
        }
    }
    

    4. 更复杂的搜索(过滤器filter)

    现在尝试下更复杂的搜索。

    • 同样搜索姓氏为 Smith 的雇员,但这次我们只需要年龄大于 30 的。

    查询需要稍作调整,使用过滤器 filter ,它支持高效地执行一个结构化查询。

    GET /megacorp/employee/_search
    {
        "query": {
            "bool": {
                "must": [ //这个可以省略
                  {
                      "match": {
                          "last_name": "smith"
                      }
                  }
                ],
                "filter":{
                    "range": {
                      "age": {
                          "gt": 30
                      }
                    }
                }
            }
        }
    }
    
    

    5. 全文搜索(相关性)

    截止目前的搜索相对都很简单:单个姓名,通过年龄过滤。

    现在尝试下稍微高级点儿的全文搜索——一项传统数据库确实很难搞定的任务。

    • 搜索下所有喜欢攀岩(rock climbing)的雇员:
    GET /megacorp/employee/_search
    {
        "query": {
            "match": {
              "about": "rock climbing"
            }
        }
    }
    
    

    显然我们依旧使用之前的 match 查询在about 属性上搜索 “rock climbing” 。得到两个匹配的文档:

    {   
        ......
      "hits": {
          "total": 2,
          "max_score": 0.16273327,
          "hits": [
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "1",
                "_score": 0.16273327,  ①
                "_source": {
                  "first_name": "John",
                  "last_name": "Smith",
                  "age": 25,
                  "about": "I love to go rock climbing",
                  "interests": [
                      "sports",
                      "music"
                  ]
                }
            },
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "2",
                "_score": 0.016878016,    ②
                "_source": {
                  "first_name": "Jane",
                  "last_name": "Smith",
                  "age": 32,
                  "about": "I like to collect rock albums",
                  "interests": [
                      "music"
                  ]
                }
            }
          ]
      }
    }
    
    • 相关性得分

    Elasticsearch 默认按照相关性得分排序,即每个文档跟查询的匹配程度。

    第一个最高得分的结果很明显:John Smith 的 about 属性清楚地写着 “rock climbing” 。

    但为什么 Jane Smith 也作为结果返回了呢?原因是她的 about 属性里提到了 “rock” 。

    因为只有 “rock” 而没有 “climbing” ,所以她的相关性得分低于 John 的。

    这是一个很好的案例,阐明了 Elasticsearch 如何 在 全文属性上搜索并返回相关性最强的结果。Elasticsearch中的 相关性 概念非常重要,也是完全区别于传统关系型数据库的一个概念,数据库中的一条记录要么匹配要么不匹配。

    6. 短语搜索

    找出一个属性中的独立单词是没有问题的,但有时候想要精确匹配一系列单词或者短语 。

    • 比如,我们想执行这样一个查询,仅匹配同时包含 “rock” 和 “climbing” ,并且 二者以短语 “rock climbing” 的形式紧挨着的雇员记录。

    为此对 match 查询稍作调整,使用一个叫做 match_phrase 的查询:

    GET /megacorp/employee/_search
    {
        "query": {
            "match_phrase": {
              "about": "rock climbing"
            }
        }
    }
    

    毫无悬念,返回结果仅有 John Smith 的文档。

    7. 高亮搜索

    许多应用都倾向于在每个搜索结果中 高亮 部分文本片段,以便让用户知道为何该文档符合查询条件。

    • 在 Elasticsearch 中检索出高亮片段也很容易。
      再次执行前面的查询,并增加一个新的 highlight 参数:
    GET /megacorp/employee/_search
    {
        "query": {
            "match_phrase": {
              "about": "rock climbing"
            }
        },
        "highlight": {
            "fields": {
                "about":{}
            }
        }
    }
    

    当执行该查询时,返回结果与之前一样,与此同时结果中还多了一个叫做 highlight 的部分。

    这个部分包含了 about 属性匹配的文本片段,并以 HTML 标签 <em></em> 封装:

    {
      ...
      "hits": {
          "total":      1,
          "max_score":  0.23013961,
          "hits": [
            {
                ...
                "_score":        0.23013961,
                "_source": {
                  "first_name":  "John",
                  "last_name":  "Smith",
                  "age":        25,
                  "about":      "I love to go rock climbing",
                  "interests": [ "sports", "music" ]
                },
                "highlight": {
                  "about": [
                      "I love to go <em>rock</em> <em>climbing</em>"
                  ]
                }
            }
          ]
      }
    }
    
    

    关于高亮搜索片段,可以在 highlighting reference documentation 了解更多信息。

    分析

    终于到了最后一个业务需求:支持管理者对雇员目录做分析。

    Elasticsearch 有一个功能叫聚合(aggregations),允许我们基于数据生成一些精细的分析结果。

    聚合与 SQL 中的 GROUP BY 类似但更强大。

    • 举个例子,挖掘出雇员中最受欢迎的兴趣爱好:
    GET /megacorp/employee/_search
    {
      "aggs": {
        "all_interests": {
          "terms": { "field": "interests" }
        }
      }
    }
    
    {
      ...
      "hits": { ... },
      "aggregations": {
          "all_interests": {
            "buckets": [
                {
                  "key":      "music",
                  "doc_count": 2
                },
                {
                  "key":      "forestry",
                  "doc_count": 1
                },
                {
                  "key":      "sports",
                  "doc_count": 1
                }
            ]
          }
      }
    }
    

    可以看到,两位员工对音乐感兴趣,一位对林地感兴趣,一位对运动感兴趣。

    这些聚合并非预先统计,而是从匹配当前查询的文档中即时生成。

    如果想知道叫 Smith 的雇员中最受欢迎的兴趣爱好,可以直接添加适当的查询来组合查询:

    GET /megacorp/employee/_search
    {
      "query": {
        "match": {
          "last_name": "smith"
        }
      },
      "aggs": {
        "all_interests": {
          "terms": {
            "field": "interests"
          }
        }
      }
    }
    
    • 聚合还支持分级汇总 。比如,查询特定兴趣爱好员工的平均年龄:
    GET /megacorp/employee/_search
    {
        "aggs" : {
            "all_interests" : {
                "terms" : { "field" : "interests" },
                "aggs" : {
                    "avg_age" : {    //自定义名称
                        "avg" : { "field" : "age" }    //avg 平均
                    }
                }
            }
        }
    }
    
    

    输出基本是第一次聚合的加强版。

    依然有一个兴趣及数量的列表,只不过每个兴趣都有了一个附加的 avg_age 属性,代表有这个兴趣爱好的所有员工的平均年龄。

    即使现在不太理解这些语法也没有关系,依然很容易了解到复杂聚合及分组通过 Elasticsearch 特性实现得很完美。可提取的数据类型毫无限制。

    相关文章

      网友评论

          本文标题:检索文档(sense)基础语法

          本文链接:https://www.haomeiwen.com/subject/tmvfvqtx.html