搭建ELK 集群,和准备环境 搭建我的ELK 7.2
文档（Document）
-
Elasticsearch 是面向文档的，文档是所有可搜索数据的最小单位。
- 日志文件中的日志项
- 一部电影的具体信息/一张唱片的详细信息
- MP3 播放器里的一首歌/一篇PDF文档中的具体信息
-
文档会被序列化JSON格式，保存在Elasticsearch中
- JSON对象由字段组成
- 每个字段都有对应的字段类型 (字符串/数值/布尔/日期/二进制/范围类型)
-
每个文档都有一个Unique ID
- 你可以自己指定ID
- 或者通过Elasticsearch自动生成
文档的元数据
索引（Index）
- Index - 索引是文档的容器，是一类文档的结合
- index 体现了逻辑空间的概念： 每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
- Shard 体现了物理空间的概念：索引中的数据分散在Shard上
- 索引的Mapping 与 Settings
- Mapping 定义文档字段的类型
-
Setting 定义不同的数据分布
索引
与关系性数据库的类比
| RDBMS(MySQL) | Elasticsearch |
|---|---|
| Table | Index(Type) |
| Row | Doucment |
| Column | Field |
| Schema | Mapping |
| SQL | DSL |
查看我的索引。
在搭建我的ELK集群时，我已经导入了一份电影数据到es中，在kibana打开后，可以在这里找到。
索引管理
文档，索引是对开发或者使用人员来说的。接下来的概念都是对于运维相关人员的
为了高可用性，需要分布式系统的可用和扩展性。随着请求量的提升。数据也不断的提升。
节点
- 节点是一个Elasticsearch的实例
- 本质上就是一个JAVA进程
- 一台机器可以运行多个Elasticsearch进程，但是生产环境一般建议还是一台机器运行一个Elasticsearch实例。
- 每个节点都有名字，通过配置文件配置，或者启动的时候 -E node.name=node1 指定
- 每个节点在启动之后，会分配一个UID，保存在data目录下。
Master-eligible 节点 和 Master 节点
- 每个节点启动后，默认就是一个Master eligible 节点。
- Master-eligible节点可以参加选主流程，成为Master节点
- 当第一个节点启动的时候，它会将自己选举成Master节点
- 每个节点上都保存了集群的状态，但是只有Master节点才能修改集群的状态信息
- 集群状态（Cluster State），维护了一个集群中，必要的信息。
- 所有的节点信息
- 所有的索引和其相关的Mapping 与 Setting 信息
- 分篇的路由信息
- 集群状态（Cluster State），维护了一个集群中，必要的信息。
Data 节点 和 Coordinating 节点
- Data 节点
- 可以保存数据的节点，叫做Data Node。负责保存分片数据，在数据扩展上起到了至关重要的作用。
- Coordinating 节点
- 负责接受Client的请求，将请求分发到合适的节点，最终把结果汇聚到一起。
- 每个节点默认都起到了Coordinating Node 的职责。
其他节点
- Hot & Warm 节点
- 不同硬件配置的Data Node，用来实现Hot & Warm 结构，降低集群部署的成本。
- Machine Learning Node
- 负责跑机器学习的Job
配置节点的类型
- 开发环境中可以一个节点承担多个角色。
- 生产环境中，应该设置单一的角色的节点（dedicated node）
在 配置文件 .yaml 中指定
| 节点类型 | 配置参数 | 默认值 |
|---|---|---|
| master eligible | node.master | true |
| data | node.data | true |
| ingest | node.ingest | true |
| coordinating only | 无 | 默认节点都为 coordinating 节点 |
| machine learning | node.ml | true （需要enbale x-pack） |
# curl -s http://localhost:9200/_cat/nodes
127.0.0.1 19 97 7 0.23 0.09 0.06 mdi * node0
127.0.0.1 15 97 7 0.23 0.09 0.06 mdi - node2
127.0.0.1 20 97 7 0.23 0.09 0.06 mdi - node1
分片（Primary Shard & Replica Shard）
- 主分片，用以解决数据水平扩展的问题，通过主分片，可以将数据分布到集群的所有节点之上。
- 一个分片是一个运行的Lucene的实例
- 主分片在索引创建时指定，后续不允许修改，除非Reindex
- 副本，用以解决数据高可用的问题，分片是主分片的拷贝。
- 副本分片数，可以动态调整
- 增加副本数，还可以在一定程度上提高服务可用性（读取的吞吐）
# curl -s http://localhost:9200/_cat/shards
.kibana_task_manager 0 p STARTED 2 46.6kb 127.0.0.1 node2
.kibana_task_manager 0 r STARTED 2 46.6kb 127.0.0.1 node0
kibana_sample_data_flights 0 p STARTED 13059 6.6mb 127.0.0.1 node2
kibana_sample_data_flights 0 r STARTED 13059 6.6mb 127.0.0.1 node0
movies 0 p STARTED 27279 3.7mb 127.0.0.1 node0
movies 0 r STARTED 27279 3.7mb 127.0.0.1 node1
kibana_sample_data_ecommerce 0 p STARTED 4675 5mb 127.0.0.1 node0
kibana_sample_data_ecommerce 0 r STARTED 4675 5.2mb 127.0.0.1 node1
.kibana_1 0 r STARTED 167 1mb 127.0.0.1 node2
.kibana_1 0 p STARTED 167 1019.9kb 127.0.0.1 node1
kibana_sample_data_logs 0 r STARTED 14074 11.6mb 127.0.0.1 node2
kibana_sample_data_logs 0 p STARTED 14074 11.6mb 127.0.0.1 node1
集群
查看集群的状态。
# curl -s http://localhost:9200/_cluster/health|jq
{
"cluster_name": "myes",
"status": "green",
"timed_out": false,
"number_of_nodes": 3,
"number_of_data_nodes": 3,
"active_primary_shards": 6,
"active_shards": 12,
"relocating_shards": 0,
"initializing_shards": 0,
"unassigned_shards": 0,
"delayed_unassigned_shards": 0,
"number_of_pending_tasks": 0,
"number_of_in_flight_fetch": 0,
"task_max_waiting_in_queue_millis": 0,
"active_shards_percent_as_number": 100
}
- Green - 主分片与副本都正常分配
- Yellow - 主分片全部正常分配，有副本分片未能正常分配
- Red - 有主分片未能正常分配。（如磁盘剩余容量不足15%，创建一个新的索引时）
网友评论