大数据 - Es

文档（Document)

Elasticsearch面向文档性，文档就是所有可搜索数据的最小单位。

元数据（标注文档信息）

"_index" : "user",
"_type" : "_doc",
"_id" : "l0D6UmwBn8Enzbv1XLz0",
"_score" : 1.6943597,
"_source" : {
    "user" : "mj",
    "sex" : "男",
    "age" : "18"
}

_index：文档所属的索引名称。 相当于mysql的库名。
_type：文档所属的类型名。 相当于mysql的表名。
_id：文档的唯一标识。 相当于mysql的表主键ID
_version：文档的版本信息。
_score：文档的相关性打分。
_source：文档的原始JSON内容。

索引（index）

索引是文档的容器，是一类文档的集合，类似关系数据库中的表，索引体现的是一种逻辑空间的概念，每个索引都应该有自己的Mapping定义，用于定义包含文档的字段名和字段类型。其中Shard（分片）体现的是物理空间的一种概念，就是索引中的数据存放在Shard上，因为有啦集群，要保证高空用，当其中一个机器崩溃中，保存在它上的分片数据也能被正常访问，因此，存在啦分片副本。
索引中有两个重要的概念，Mapping和Setting。Mapping定义的是文档字段和字段类型，Setting定义的是数据的不同分布。

类型（Type）

在7.0之前，一个index可以创建多个Type。之后就只能一个index对应一个Type。
节点（Node）
一个节点就是一个Elaseticsearch实例，本质就是一个JAVA进程。每一个节点启动后，默认就是一个master eligible节点。就是具备成为master资格的节点，你也可以狠心的指定它没有这个资格（node.master:false），
第一个节点启动后，他就选自己成为Master节点类，每一个节点上都保存了集群状态，但是，只有Master才能修改集群状态信息。集群状态信息就比如：

• 所有的节点信息。
• 所有的索引信息，索引对应的mapping信息和setting信息。
• 分片的路由信息。

分片（shard）

主分片：用于解决数据的水平扩展问题，通过主分片就数据分布在集群内的不同节点上，主分片在创建索引的时候就指定了，后面就不允许修改，除非重新定义Index。
副本：用于解决高可用的问题，分片是主分片的拷贝。副本分片数可以动态的调整，增加副本数量可以在一定的程度上提高服务的可用性。关于主分片的理解可以如下图，看是怎样实现高可用的，

image.png

"settings" : {
    "index" : {
        // 设置主分片数
        "number_of_shards" : "1",
        "auto_expand_replicas" : "0-1",
        "provided_name" : "kibana_sample_data_logs",
        "creation_date" : "1564753951554",
        // 设置副本分片数
        "number_of_replicas" : "1",
        "uuid" : "VVMLRyw6TZeSfUvvLNYXEw",
        "version" : {
            "created" : "7010099"
        }
    }
}

倒排索引

• 正排索引：就是文档ID到文档内容的索引，简单讲，就是根据ID找文档。
• 倒排索引：就是根据文档内容找文档。
  倒排索引包含如下信息：
  单词词典：用于记录所有文档的单词，以及单词到倒排列表的关联关系。
  倒排列表：记录的是单词对应的文档集合，由倒排索引项组成，其中包含
  文档ID
  单词出现的次数，用于相关性的评分
  单词出现的位置
  偏移量，用于记录单词的开始位置和结束位置，用于单词的高亮显示

Analyzer分词

• Analysis：文本分析，就是将文本转换为单词（term或者token）的过程，其中Analyzer就是通过Analysis实现的，Elasticsearch给我们内置例很多分词器。
• Standard Analyzer：默认的分词器，按照词切分，并作大写转小写处理
• Simple Analyzer：按照非字母切分（符号被过滤），并作大写转小写处理
• Stop Anayzer：停用词（the、is）切分，并作大写转小写处理
• Whitespace Anayzer：空格切分，不做大写转小写处理
• IK：中文分词器，需要插件安装
• ICU：国际化的分词器，需要插件安装
• jieba：时下流行的一个中文分词器。