美文网首页
七牛数据从一个桶转移到另一个桶

七牛数据从一个桶转移到另一个桶

作者: 追风骚年 | 来源:发表于2018-12-26 14:03 被阅读15次

因为七牛临时域名的原因,一些老的数据连接都对不上,我们这边需要将一个 bucketA 到另外一个 bucketB 中。操作步骤如下

下载并 qshell

七牛官方下载页面下载可执行文件,因为我是 mac ,所以选择 qshell_darwin_x64,找个合适的路径,我的习惯是 $HOME/bin,配置好 PATH。

设置 account

$ qshell account AK SK name

新版本有个 name,老版本是没有的。有找个参数可以更好的作区分。

列出 bucket

$ qshell listbucket bucketA -o srccopy.txt

xx简历.png   500071  FuEnT1v7oou7--ahA5gO1VIy4EHY    15283671101562504   image/png   0   

将 bucket 中的所有文件信息导出,BUT,这里我对七牛这点不满意,应该有个参数可以配置可以输出哪些文件信息,一股脑所有信息都抛出来了,但是这里是用 \t 分割的,那么我们做个切分也就 ok 了。

处理文件列表

来喽!这里突发奇想,来个 lua 脚本。就是爱折腾

function split( str,reps )
   local resultStrList = {}
   string.gsub(str,'[^'..reps..']+',function ( w )
       table.insert(resultStrList,w)
   end)
   return resultStrList
end

sourceFile = io.open ("srccopy.txt","r");
toFile = io.open("tocopy.txt" ,"w");
y=1
for line in sourceFile:lines() do
   arr=split(line,"\t")
   name=arr[1]
   toFile:write(name.."\n")
   y=y+1
end
sourceFile:close()
toFile:close()

copy bucket

$ qshell batchcopy --force  --failure-list failure-list.txt bucketA bucketB -i tocopy.txt

处理失败的我们可以记录下来,大部分是文件名已存在,我这里选择不覆盖,如果需要覆盖添加上 --overwrite 参数。

总结

这是第一次对 lua 的使用,感觉还挺轻量,以后还可以多使用 lua。

参考

相关文章

  • 七牛数据从一个桶转移到另一个桶

    因为七牛临时域名的原因,一些老的数据连接都对不上,我们这边需要将一个 bucketA 到另外一个 bucketB ...

  • 排序(2)

    线性排序:Bucket sort,Counting sort,Radix sort 桶排序 数据能划分为m个桶,桶...

  • 垃圾桶里的宝藏

    小区里有很多捡垃圾的大叔大妈,没事就在小区里转悠,从一个垃圾桶转到另一个垃圾桶,希望能从里面淘到宝贝。 刘大爷就是...

  • 《数据结构与算法之美》10——排序(三)桶排序、计数排序、基数排

    桶排序 概念 桶排序,核心思想是将要排序的数据分到几个有序的桶里,每个桶里的数据再单独进行排序。桶内排序之后,再把...

  • 桶排序

    例子: 给数据进行排序。 现在默认是10个桶 PS: 桶排序

  • 排序算法(3)- 桶排序、计数排序、基数排序

    桶排序(Bucket sort) 将要排序的数据分到几个有序的桶里,每个桶里面再单独进行排序,最后把每个桶里的数据...

  • 线性排序

    桶排序 核心思想是将要排序的数据分到几个有序的桶里,每个桶里的数据再单独进行排序。桶内排序完之后,再把每个桶里的数...

  • Hive桶表

    分桶及抽样查询 分桶表数据存储类似与MR分区分区针对的是数据的存储路径;分桶针对的是数据文件。分区提供一个隔离数据...

  • 线性排序:如何根据年龄给100万用户数据排序

    捅排序 时间复杂度O(n),最坏O(nlogn) 缺点对数据要求非常严格,被排序的数据要很容易划分成m个桶桶与桶之...

  • 桶排序、计数排序、基数排序

    线性排序一 桶排序核心思想是将要排序的数据分到几个有序的桶里,每个桶里的数据再单独进行排序。桶内排完序之后,再把每...

网友评论

      本文标题:七牛数据从一个桶转移到另一个桶

      本文链接:https://www.haomeiwen.com/subject/jfshlqtx.html