美文网首页
es数据迁移实战

es数据迁移实战

作者: hugoren | 来源:发表于2020-12-05 10:51 被阅读0次

背景

因云的sata盘一直io报警,数量有10T左右


考虑转到ssd, ssd 性能还真是不错的。


image.png

如何迁移

1.直接考indices所有索引文件(最终是通过拷索引文件的方案)

  1. elasticdump (适合小量的数据)
    3.logstash (适合小量的数据)
    4.snapshot 支持, 详情参考https://www.elastic.co/guide/cn/elasticsearch/guide/current/backing-up-your-cluster.html
    共享文件系统,比如 NAS
    Amazon S3
    HDFS (Hadoop 分布式文件系统)
    Azure Cloud

实战

1.直接拷文件, 刚开始是别的同事去操作,一些原因,没成功。

  1. 我接着去研究测试logstash, elasticdump, snapshot,一圈下来,要么不是拷数据慢,就是占用一块中间盘,也没快多少。这些方案被我否了。
    3.接着,我回头去研究直接拷索引文件。
    (1)以某个索引为例, 先确认没有这个索引


    image.png

(2)拷贝索引,验证是否出现(等一分钟左右,拷过来的索引待es识别读取出来)


image.png

(3)验证数据


image.png

重点:
拷过去的索引,es要有读写的权限
等一两分钟索引被es读取

相关文章

  • es数据迁移实战

    背景 因云的sata盘一直io报警,数量有10T左右 考虑转到ssd, ssd 性能还真是不错的。 如何迁移 1....

  • ES:reindex中的坑

    吐槽一个ES-reindex迁移的大坑 在做ES跨集群迁移的时候,用到了ES的reindex进行数据迁移,查了很多...

  • Elasticsearch数据迁移与集群容灾

    本文讨论如何跨集群迁移ES数据以及如何实现ES的同城跨机房容灾和异地容灾。 跨集群数据迁移 在ES的生产实践中,往...

  • es

    数据迁移 es,es是一个开源的搜索引擎,es包括数据存储和数据检索,搜索数据会比 mysql 快很多,搜索接口是...

  • Elasticsearch:跨集群数据迁移之离线迁移

    跨集群数据迁移 用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群,如果要迁移至腾讯云ES,用户可以根据自...

  • mysql数据批量同步导入elasticsearch

    背景: 对于数据的列表拉取响应变慢,数据需要从mysql迁移到es,从而数据从es进行读取; 解决思路: 由于数据...

  • Es原理分析

    Es数据存储模型 Es读写模型 感谢:《Elasticsearch源码解析与优化实战》-张超

  • ES集群数据迁移

    记录一次ES数据库的迁移 起因是由于老库中的模板映射不是我们想要的模板,需要将数据迁移到新的ES集群中,新集群已经...

  • ES数据备份与恢复

    场景:ES线上的数据和服务迁移到另外的机器上去 老ES机器ip:172.16.0.1新ES机器ip:172.16....

  • 快速迁移ES数据

    因为性能测试需要,需要快速迁移已有的测试数据,其中包括mysql和es的。 本地试验/windows环境 1. 安...

网友评论

      本文标题:es数据迁移实战

      本文链接:https://www.haomeiwen.com/subject/faawwktx.html