ElasticSearch的文件目录结构
| 目录 | 配置文件 | 描述 |
|---|---|---|
| bin | 脚本文件,包括启动 ElasticSearch,安装插件,运行统计数据等 | |
| config | elasticSearch.yml | 集群配置文件,user,role based相关配置 |
| JDK | Java运行环境 | |
| data | path.data | 数据文件 |
| lib | Java类库 | |
| logs | path.log | 日志文件 |
| modules | 包含所有ES模块 | |
| plugins | 包含所有已安装插件 |
文档的元数据
-
元数据,用于标注文档的相关信息
-
_index -- 文档所属的索引名
-
_type -- 文档所属的类型名
-
_id -- 文档的唯一id
-
_source -- 文档的原始json数据
-
_all -- 整合所有字段内容到该字段,7.0已被废除
-
_version -- 文档的版本信息
-
_score -- 相关性打分
-
索引
-
Index - 索引是文档的容器,是一类文档的结合
-
Index体现了逻辑空间的概念:每个索引都有自己的Mapping定义,用于定义包含的文档的字段名和字段类型
-
Shard体现了物理空间的概念:索引中的数据分散在Shard上
-
-
索引的Mapping与Setting
-
Mapping定义文档字段的类型
-
Setting定义不同的数据分布
-
抽象类比
| RDBMS | ElasticSearch |
|---|---|
| Table | Index(Type) |
| Row | Document |
| Column | Filed |
| Schema | Mapping |
| SQL | DSL |
-
在7.0之前,一个Index可以设置多个Types
-
目前Type已经被Deprecated, 7.0开始,一个索引只能创建一个Type - "_doc"
-
传统关系型数据库和ElasticSearch和区别
-
ElasticSearch - Schemaless/相关性/高性能全文索引
-
RDMS - 事务性/Join
-
分布式系统的可用性与扩展性
-
高可用性
-
服务可用性 - 允许有节点停止服务
-
数据可用性 - 部分节点丢失, 不会丢失数据
-
-
可扩展性
- 请求量提升/数据的不断增长 (将数据分布到所有节点上)
分布式特性
-
ElasticSearch的分布式架构的好处
-
存储的水平扩容
-
提高系统的可用性,部分节点停止服务,整个集群的服务不受影响
-
-
ElasticSearch的分布式架构
-
不同的集群通过不同的名字来区分, 默认名字 "elasticsearch"
-
通过配置文件的修改,或者在命令行中 -E cluster.name=geektime进行设定
-
一个集群可以有一个或者多个节点
-
节点
-
节点是一个ElasticSearch的实例
-
本质上就是一个java进程
-
一台机器上可以运行多个ElasticSearch进程,但是生产环境一般建议一台机器上只运行一个ElasticSearch实例
-
-
每一个节点都有名字,通过配置文件配置,或者启动的时候 -E node.name=node1指定
-
每一个节点在启动后, 会分配一个UID,保存在目录下
Master-eligible nodes 和 Master Node
-
每个节点启动后,默认就是一个Master eligible 节点
- 可以设置 node.master:false 禁止
-
Master-eligible节点可以参加选举主流程, 成为Master节点
-
当第一个节点上启动的时候,它会将自己选举成Master节点
-
每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息
-
集群状态(Cluster State),维护了一个集群中: 必要的信息
-
所有的节点信息
-
所有的索引和其相关的Mapping与Setting信息
-
分片的路由信息
-
-
任意节点都能修改信息会导致数据的不一致性
-
Data Node & Corrdinating Node
-
Data Node
- 可以保存数据的节点, 叫做Data Node. 负责保存分片数据. 在数据扩展上起到了至关重要的作用
-
Corrdinating Node
-
负责接受Client的请求,将请求分发到合适的节点,最终把结果汇集到一起
-
每个节点默认都起到了Coordinating Node 的职责
-
其他的节点类型
-
Hot & Warm Node
- 不同硬件配置的Data Node, 用来事先 Hot & Warm 架构, 降低集群部署的成本
-
Machine Learning Node
- 负责跑机器学习的Job,用来做异常检测
-
Tribe Node
- (5.3开始使用 Cross Cluster Search) Tribe Node 连接到不同的ElasticSearch集群, 并且支持将这些集群当一个单独的集群处理
配置节点类型
-
开发环境中一个节点可以承担多种角色
-
生产环境中,应该设置单一的角色的节点(dedicated node)
| 节点类型 | 配置参数 | 默认值 |
|---|---|---|
| master eligible | node.master | true |
| data | node.data | true |
| ingest | node.ingest | true |
| coordinating only | 无 | 每个节点默认都是coordinating 设置其他类型全部为false |
| machine learning | node.ml | true (需 enable x-pack) |
分片(Primary Shard & Replica Shard)
-
主分片,用以解决数据水平扩展的问题.通过主分片,可以将数据分布到集群内的所有节点之上
-
一个分片是一个运行的Lucene的实例
-
主分片数在索引创建时指定,后续不允许修改,除非Reindex
-
-
副本,用以解决数据高可用的问题.分片是主分片的拷贝
-
副本分片数, 可以动态调整
-
增加副本数, 还可以在一定程度上提高服务的可用性
-
分片的设定
-
对于生产环境中分片的设定, 需要提前做好容量规划
-
分片数设置过小
-
导致后续无法增加节点实现水平扩展
-
单个分片的数据量太大,导致数据重新分配耗时
-
-
分片数设置过大, 7.0开始, 默认主分片设置成1, 解决了over-sharding的问题
-
影响搜索结果的相关性打分, 影响统计结果的准确性
-
单个节点上过多的分片,会导致资源浪费,同时也会影响性能
-
-
查看集群的健康状况 GET _cluster/health
-
Green - 主分片与副分片都正常分配
-
Yellow - 主分片全部正常分配,有副本分片未能正常分配
-
Red - 有主分片未能正常分配
- 例如: 当服务器的磁盘容量超过85%时,去创建了一个新的索引
Index 相关 API
#查看索引相关信息
GET kibana_sample_data_ecommerce
#查看索引的文档总数
GET kibana_sample_data_ecommerce/_count
#查看前10条文档，了解文档格式
POST kibana_sample_data_ecommerce/_search
{
}
#_cat indices API
#查看indices
GET /_cat/indices/kibana*?v&s=index
#查看状态为绿的索引
GET /_cat/indices?v&health=green
#按照文档个数排序
GET /_cat/indices?v&s=docs.count:desc
#查看具体的字段
GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt
#How much memory is used per index?
GET /_cat/indices?v&h=i,tm&s=tm:desc
相关阅读
课程DEMO
- 需要通过Kibana导入Sample Data的电商数据。
get _cat/nodes?v
GET /_nodes/es7_01,es7_02
GET /_cat/nodes?v
GET /_cat/nodes?v&h=id,ip,port,v,m
GET _cluster/health
GET _cluster/health?level=shards
GET /_cluster/health/kibana_sample_data_ecommerce,kibana_sample_data_flights
GET /_cluster/health/kibana_sample_data_flights?level=shards
#### cluster state
The cluster state API allows access to metadata representing the state of the whole cluster. This includes information such as
GET /_cluster/state
#cluster get settings
GET /_cluster/settings
GET /_cluster/settings?include_defaults=true
GET _cat/shards
GET _cat/shards?h=index,shard,prirep,state,unassigned.reason
相关阅读
网友评论