ElasticSearch初识（二）

作者: 云师兄 | 来源:发表于2018-05-26 10:25 被阅读4次

什么是正向索引、什么是倒排索引？

正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现位置，得到正向索引的结构如下：
“文档1”的ID > 单词1：出现次数，出现位置列表；单词2：出现次数，出现位置列表；…………。
“文档2”的ID > 此文档出现的关键词列表。
当用户在主页上搜索关键词“华为手机”时，假设只存在正向索引（forward index），那么就需要扫描索引库中的所有文档，找出所有包含关键词“华为手机”的文档，再根据打分模型进行打分，排出名次后呈现给用户。因为互联网上收录在搜索引擎中的文档的数目是个天文数字，这样的索引结构根本无法满足实时返回排名结果的要求。
所以，搜索引擎会将正向索引重新构建为倒排索引，即把文件ID对应到关键词的映射转换为关键词到文件ID的映射，每个关键词都对应着一系列的文件，这些文件中都出现这个关键词，得到倒排索引的结构如下：
“关键词1”：“文档1”的ID，“文档2”的ID，…………。
“关键词2”：带有此关键词的文档ID列表。

Elasticsearch的核心概念

Near Realtime（NRT）：近实时，两个意思，①从写入数据到数据可以被搜索到有一个小延迟（大概1s）；②基于es执行搜索和分析可以达到秒级
Cluster：集群，包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常
Node：节点，集群中的一个节点，节点也有一个名称（默认是随机分配的），节点名称很重要（在执行运维管理操作的时候），默认节点会去加入一个名称为“elasticsearch”的集群，如果直接启动一堆节点，那么他们会自动组成一个elasticsearch集群，一个节点也可以组成一个elasticsearch集群。
Document：文档，es中的最小数据单元，一个document可以是一条客户数据，一条商品分类数据，一条订单数据，通常用JSON表示，每个index下的type中，都可以去存储多个document，一个document里面有多个field，每个field就是一个数据字段。
例如：
产品document：

  {
    "product_id": "1",
    "product_name": "高露洁牙膏",
    "product_desc": "高效美白",
    "category_id": "2",
     "category_name": "日化用品"
  }

Index：索引，包含一堆有相似结构的文档数据，比如可以有一个客户索引，商品分类索引，订单索引，索引有一个名称，一个index包含很多document，一个index就代表了一类类似的或者相同的document。比如建立一个product index，商品索引，里面可能就存放了所有的商品数据，所有的商品document。
Type：类型，每个索引里都可以有一个或多个type，type是index中的一个逻辑数据分类，一个type下的document，都有相同的field，比如博客系统，有一个索引，可以定义用户数据type，博客数据type，评论数据type。
例如：
商品index，里面存放了所有的商品数据，商品document
但是商品分很多种类，每个种类的document的field可能不太一样，比如说电器商品，可能还包含一些诸如售后时间范围这样的特殊field；生鲜商品，还包含一些诸如生鲜保质期之类的特殊field
type，日化商品type，电器商品type，生鲜商品type
日化商品type：product_id，product_name，product_desc，category_id，category_name
电器商品type：product_id，product_name，product_desc，category_id，category_name，service_period
生鲜商品type：product_id，product_name，product_desc，category_id，category_name，eat_period
每一个type里面，都会包含一堆document

  {
    "product_id": "2",
    "product_name": "长虹电视机",
    "product_desc": "4k高清",
    "category_id": "3",
    "category_name": "电器",
    "service_period": "1年"
  },
  {
    "product_id": "3",
    "product_name": "基围虾",
    "product_desc": "纯天然，冰岛产",
    "category_id": "4",
    "category_name": "生鲜",
    "eat_period": "7天"
  }

shard：单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个shard，分布在多台服务器上存储。有了shard就可以横向扩展，存储更多数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能。每个shard都是一个lucene index。
replica：任何一个服务器随时可能故障或宕机，此时shard可能就会丢失，因此可以为每个shard创建多个replica副本，replica可以在shard故障时提供备用服务，保证数据不丢失。多个replica还可以提升搜索操作的吞吐量和性能。

CRUD操作

下面我们使用postman来发送请求。

新增

屏幕快照 2018-05-26 上午11.20.33.png

只通过上面一个命令就完成了创建一个名为test的索引，并且在索引下创建了一个名称为employee的类型，已经主键值为1的document，document的值为请求body中的json串。注意，使用postman的时候，要选上raw格式以及类型是json。

查询

查询type下的所有document
屏幕快照 2018-05-26 上午11.36.31.png
上面是查询指定的document，如果要获取type下的所有document,可以使用http://localhost:9200/test/employee/_search请求，即最后用_search替代主键值，获取到的数据格式如下：

{
    "took": 63,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 1,
        "hits": [
            {
                "_index": "test",
                "_type": "employee",
                "_id": "2",
                "_score": 1,
                "_source": {
                    "first_name": "John",
                    "last_name": "Smith",
                    "age": 25,
                    "about": "I love to go rock climbing",
                    "interests": [
                        "sports",
                        "music"
                    ]
                }
            },
            {
                "_index": "test",
                "_type": "employee",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "first_name": "John",
                    "last_name": "Smith",
                    "age": 25,
                    "about": "I love to go rock climbing",
                    "interests": [
                        "sports",
                        "music"
                    ]
                }
            }
        ]
    }
}

使用查询字符串进行查询
此外还可以在请求中使用查询字符串进行条件查询：
http://localhost:9200/test/employee/_search?q=last_name:Smith我们在请求中依旧使用_search关键字，然后将查询语句传递给参数q=，这样我们就可以查到last_name中包含Smith的document。
使用DSL语句进行查询
另外，elasticsearch还支持使用DSL语句查询：

屏幕快照 2018-05-26 上午11.55.18.png

但是postman中并不支持使用get请求进行查询的时候在request body中添加查询条件，虽然http协议是支持get请求的body中加入查询参数的。当然这是难不倒我的，可以在mac自带的curl命令在终端去模拟这个请求：

curl -H "Content-Type:application/json" -X GET -d '{
    "query" : {
        "match" : {
            "last_name" : "Smith"
        }
    }
}' http://localhost:9200/test/employee/_search

上述查询语句中使用了match语句进行查询
这样查询出的结果和使用查询字符串进行查询出来的结果是一样的：

{"took":82,"timed_out":false,"_shards":{"total":5,"successful":5,"skipped":0,"failed":0},"hits":{"total":1,"max_score":0.2876821,"hits":[{"_index":"test","_type":"employee","_id":"1","_score":0.2876821,"_source":{
    "first_name" : "John",
    "last_name" :  "Smith",
    "age" :        25,
    "about" :      "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}}]}}

全文搜索

curl -H "Content-Type:application/json" -X GET "http://localhost:9200/test/employee/_search?pretty" -d '{
    "query" : {
        "match" : {
            "about" : "rock"
        }
    }
}'

假设我们现在已经有两条数据，第一条的人是John Smith，他的about字段值是I love to go rock climbing，第二条的人是Jane Smith，他的about字段值是I love to go rock。
默认情况下，Elasticsearch根据结果相关性评分来对结果集进行排序，所谓的「结果相关性评分」就是文档与查询条件的匹配程度。很显然，排名第一的John Smith的about字段明确的写到“rock climbing”。
但是为什么Jane Smith也会出现在结果里呢？原因是“rock”在她的abuot字段中被提及了。因为只有“rock”被提及而“climbing”没有，所以她的_score要低于John。
这个例子很好的解释了Elasticsearch如何在各种文本字段中进行全文搜索，并且返回相关性最大的结果集。相关性(relevance)的概念在Elasticsearch中非常重要，而这个概念在传统关系型数据库中是不可想象的，因为传统数据库对记录的查询只有匹配或者不匹配。

短语搜索
如果我们想要查询同时包含"rock"和"climbing"（并且是相邻的）两个单词的document，则使用match_phrase语句进行短语搜索，请求如下：

 curl -H "Content-Type:application/json" -X GET "http://localhost:9200/test/employee/_search?pretty" -d '{
    "query" : {
        "match_phrase" : {
            "about" : "rock climbing"
        }
    }
}'

高亮字符串
很多应用喜欢从每个搜索结果中高亮(highlight)匹配到的关键字，这样用户可以知道为什么这些文档和查询相匹配之前的语句上增加highlight参数就可以实现：

curl -H "Content-Type:application/json" -X GET "http://localhost:9200/test/employee/_search?pretty" -d '{
    "query" : {
        "match_phrase" : {
            "about" : "rock climbing"
        }
    },"highlight": {
        "fields" : {
            "about" : {}
        }
    }
}'

返回的json字符串如下：

{
  "took" : 66,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 0.5753642,
    "hits" : [
      {
        "_index" : "test",
        "_type" : "employee",
        "_id" : "1",
        "_score" : 0.5753642,
        "_source" : {
          "first_name" : "John",
          "last_name" : "Smith",
          "age" : 25,
          "about" : "I love to go rock climbing",
          "interests" : [
            "sports",
            "music"
          ]
        },
        "highlight" : {
          "about" : [
            "I love to go <em>rock</em> <em>climbing</em>"
          ]
        }
      }
    ]
  }
}

返回结果中会有一个新的部分叫做highlight，这里包含了来自about字段中的文本，并且用<em></em>来标识匹配到的单词。

检查文档是否存在

在终端输入：curl -i -XHEAD http://localhost:9200/test/employee/1 可以检查document是否存在，如果存在，返回json如下：

Warning: Setting custom HTTP method to HEAD with -X/--request may not work the
Warning: way you want. Consider using -I/--head instead.
HTTP/1.1 200 OK
content-type: application/json; charset=UTF-8
content-length: 252

安装分词器

在es的bin目录下执行命令：

./elasticsearch-plugin install analysis-smartcn

来安装分词器analysis-smartcn,安装完后在plugins目录下就多了一个名为analysis-smartcn的目录，说明分词器插件已经安装好了。
接着我们使用postman发送一个请求：

屏幕快照 2018-06-20 上午11.19.30.png

返回结果如下：

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "word",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 1,
            "end_offset": 2,
            "type": "word",
            "position": 1
        },
        {
            "token": "中国",
            "start_offset": 2,
            "end_offset": 4,
            "type": "word",
            "position": 2
        },
        {
            "token": "人",
            "start_offset": 4,
            "end_offset": 5,
            "type": "word",
            "position": 3
        }
    ]
}

可以看到分词器已经起效果了。
如果我们不使用分词器，则请求如下：

屏幕快照 2018-06-20 上午11.21.26.png

返回值为：

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<IDEOGRAPHIC>",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "中",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        },
        {
            "token": "国",
            "start_offset": 3,
            "end_offset": 4,
            "type": "<IDEOGRAPHIC>",
            "position": 3
        },
        {
            "token": "人",
            "start_offset": 4,
            "end_offset": 5,
            "type": "<IDEOGRAPHIC>",
            "position": 4
        }
    ]
}

可以看到返回值是单个中文分开的，从而从侧面突出了分词器的效果。

ElasticSearch初识（二）

什么是正向索引、什么是倒排索引？

Elasticsearch的核心概念

CRUD操作

新增

查询

检查文档是否存在

安装分词器

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读