es搜索平台的设计

image.png image.png

同样配置的ecs 是 阿里云es 的 53%
如果公司有大量的es instance ，自己运维确实还是比较省的

搜索背景
公司层⾯上
1 公司需要⼀个统⼀标准化接⼊⼊⼝ ，⽅便对es 数据安全管控起来2 现在外⽹直接可以访问 公司es 集群 ⾮常危险 。
业务⽅同学
1 他的服务或者应⽤依赖es 的集群状态 ，索引的 qps ，tps ， rt 返回时间， load ， full gc ，⽹络io，队列 ， 磁盘io ， exception 等等metric （业务同学可以看到kibana 监控需求）
2 他快速的⽅便的接⼊ es service
3 他需要知道 搜索⽇志 ，慢查询 ，慢索引 ，gc ⽇志 ，以便他排查问题 （业务同学可以看到kibana 监控需求）
4 在资源不⾜情况 ，我要索引数据迁移到新的集群索引中（本地reindex 或者远程reindex，reindex 不是特指eleasticsearch reindex api ）
5多表 batch 倒⼊es 平台 （这块需求，他们是⽐较关⼼的）

基础运维同学
1 基本阿⾥云管理平台 可以满⾜
2 es 申请 ，审核流程

搜索1.0 架构设计

搜索1.png

搜索架构组件
搜索 sdk - 提供统⼀search sdk ⼊⼝接⼊ ， 提供同步 ，异步接⼝开发⽅式 ，统⼀⼊⼝
搜索 proxy - 将rpc转换成对应平台search 请求 ，审核 application访问es 集群权限以及⾮流控 metric 上传公司告警平台
搜索 管理平台 - 创建运维 es 资源管理审核流程，创建 application 对应es 配置流程搜索 dts - 单表，多表数据导⼊es 需求 ，提供 写sql 导⼊的⽅式