美文网首页
Windows系统向ElasticSearch bulk批量同步

Windows系统向ElasticSearch bulk批量同步

作者: Damon_e889 | 来源:发表于2019-06-27 20:56 被阅读0次

我们知道,通过API可以实现对ElasticSearch批量增删查改操作。但是,常用的head或kopf插件对于批处理操作则显得心有余而力不足。本文将详细介绍一种不依赖于API的批量处理方式。

整体思路

  • 保存需要批量处理的数据到json文件
  • 通过crud命令向ES服务器发送_bulk请求

保存需要批量操作的数据到json文件


文件格式如下:
{"index":{"_index": "test_damon_v1", "_type": "test_damon", "_id":"4"}}
{"plant": "F131","stb_version": "4444444444"}
两行数据构成了一次操作,第一行是操作类型可以index,create,update;第二行就是我们的可选的数据体。
如果是delete操作,只有一行数据,因为只需要提供一个id即可。
注意:

  • 每一行数据结束,必须换行,否则对应数据会执行失败
  • 官方建议 bulk 批次最好不要超过15MB

Windows系统安装curl

  • curl下载地址:<u>https://curl.haxx.se/download.html</u>
    建议下载如图所示版本:

    下载完成以后是一个后缀名为.cab的文件;然后解压缩。
  • 配置环境变量



  • 检测是否安装成功
    在cmd界面输入命令curl --help,显示如下图,则表示安装成功。


使用curl向ES服务器发送请求

  • cmd进入curl\I386路径以后执行以下命令,@后面是你的json文件所在的位置。
    curl -l -H "Content-Type:application/json" -H "Accept:application/json" -XPOST localhost:9200/_bulk?pretty --data-binary @C:\Users\Desktop\test.json
    如下图所示:



    若出现以下结果,则表示处理成功:


  • 验证数据是否同步成功
    进入ES的head插件,我们批量处理,插入的数据是id为4和5的数据。
    查询结果如下:


相关文章

网友评论

      本文标题:Windows系统向ElasticSearch bulk批量同步

      本文链接:https://www.haomeiwen.com/subject/yqsdcctx.html