Elasticsearch 存储设计
Elasticsearch中index约等于MySQL的database，type约等于MySQL的table；
虽然Elasticsearch支持一个index多个type，但是官方并不推荐如此使用，而且多个type底层其实也是用一张大表进行存储的。
所以，Elasticsearch 中存储的数据用一个type来存储就可以了。使用nested类型保存一对多关系。
MySQL数据同步
1. MySQL & Elasticsearch双写
- 实现思路 ：在业务 insert ＆ update MySQL的地方同时 insert ＆ update Elasticsearch
- 优点 ：实现简单
- 缺点 ： 业务代码侵入；能力无法复用；业务强耦合；影响业务处理性能；
- 优化做法：配合MQ提高吞吐量、改同步为异步
- 推荐指数 ： 一般 (可作为其他方案的补充)
2. 定时 MySQL SELECT
-
实现思路 ：数据库的相关表中增加是否需要同步的标识字段，例如现有的类型为 timestamp 的 update_time 字段，任何更新数据表内容的操作都会使该字段的时间发生变化；增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取到 Elasticsearch ；
-
优点 ：实现简单；没有侵入；没有硬编码；
-
缺点 ： 时效性较差；对 MySQL Delete 操作无能为力；增大 MySQL 的压力； 无法按字段同步，只能整行同步；对SQL单之类瞬时大批量更新处理繁琐；
-
优化做法：给标志字段添加索引，从从库进行读取；
-
推荐指数 ： 一般
-
相关的开源组件：DataX、Logstash
3. Binlog 解析
-
实现思路 ：读取 MySQL 的 Binlog 日志，获取指定表的日志信息；根据信息同步到 ES；
-
优点 ：没有侵入；没有硬编码；性能高；业务解耦；
-
缺点 ： 实现相对复杂；
-
优化做法：配合MQ，使用生产者消费者模式提高同步性能；采用 MySQL 主-从-从模式；
-
推荐指数 : 推荐 : 常规做法
- 开源组件：阿里 canal
-
实现依赖
- MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式
- 授权 MySQL 连接账号，使其具有作为 MySQL slave 的权限
网友评论