美文网首页
快速迁移ES数据

快速迁移ES数据

作者: 猪儿打滚 | 来源:发表于2019-12-03 18:51 被阅读0次

因为性能测试需要,需要快速迁移已有的测试数据,其中包括mysql和es的。

本地试验/windows环境
1. 安装并配置java8环境
2. 安装并启动ES
  • 下载并配置
    链接:https://pan.baidu.com/s/1izwOpmlcSqJwTC9qd0w_vg
    提取码:7hdn
  • 解压
  • 配置:config/elasticsearch.yml,修改network.host: 0.0.0.0
  • 运行:双击bin/elasticsearch.bat
  • 校验:访问127.0.0.1:9200
    启动成功
3.迁移数据工具
  • 下载
    链接:https://pan.baidu.com/s/1bqtZOX5W-51kwIbLFBLDSw
    提取码:mvn9
  • 解压
  • 命令
    esm.exe -s http://192.168.x.x:9200 -d http://192.168.x.x:9200 -x audience_index -y audience_user -w=1 -b=20
    -s:资源ES所处的ip地址+ES端口号
    -d:目标ES所处的ip地址+ES端口号
    -x:索引名称
    -y:索引类型
    -w:线程数,太大ES容易挂
    -b:表示一次bulk请求数据大小,单位MB默认 5M(太大容易挂)
    -c:表示一次scroll请求数量(太大容易挂)
  • 执行: 执行过程
4.数据存储处

默认配置中,数据会保存在data/nodes目录下

相关文章

  • 快速迁移ES数据

    因为性能测试需要,需要快速迁移已有的测试数据,其中包括mysql和es的。 本地试验/windows环境 1. 安...

  • ES:reindex中的坑

    吐槽一个ES-reindex迁移的大坑 在做ES跨集群迁移的时候,用到了ES的reindex进行数据迁移,查了很多...

  • Elasticsearch数据迁移与集群容灾

    本文讨论如何跨集群迁移ES数据以及如何实现ES的同城跨机房容灾和异地容灾。 跨集群数据迁移 在ES的生产实践中,往...

  • es

    数据迁移 es,es是一个开源的搜索引擎,es包括数据存储和数据检索,搜索数据会比 mysql 快很多,搜索接口是...

  • Elasticsearch:跨集群数据迁移之离线迁移

    跨集群数据迁移 用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群,如果要迁移至腾讯云ES,用户可以根据自...

  • mysql数据批量同步导入elasticsearch

    背景: 对于数据的列表拉取响应变慢,数据需要从mysql迁移到es,从而数据从es进行读取; 解决思路: 由于数据...

  • ES集群数据迁移

    记录一次ES数据库的迁移 起因是由于老库中的模板映射不是我们想要的模板,需要将数据迁移到新的ES集群中,新集群已经...

  • ES数据备份与恢复

    场景:ES线上的数据和服务迁移到另外的机器上去 老ES机器ip:172.16.0.1新ES机器ip:172.16....

  • es数据迁移实战

    背景 因云的sata盘一直io报警,数量有10T左右 考虑转到ssd, ssd 性能还真是不错的。 如何迁移 1....

  • 【es】es数据迁移之reindex

    一、背景 1. 当你的数据量过大,而你的索引最初创建的分片数量不足,导致每个分片上承载的数据量太大,数据入库变慢,...

网友评论

      本文标题:快速迁移ES数据

      本文链接:https://www.haomeiwen.com/subject/kllhgctx.html