美文网首页阿里云
两大场景,数据迁移到OSS竟然这么简单!

两大场景,数据迁移到OSS竟然这么简单!

作者: 阿里云云栖号 | 来源:发表于2020-01-17 13:23 被阅读0次

    用户希望将历史数据迁移到用户在OSS的某个目标Bucket上。其中,需要迁移的源数据可能来自于OSS的某个Bucket,也可能来自于本地、第三方云存储(如AWS S3、Azure Blob、腾讯云COS、七牛、百度BOS、又拍云、金山KS3等)、HTTP等。

    主要方法

    • 在线迁移服务

      使用在线迁移服务进行迁移。适用于各类数据源的数据,批量迁移到OSS。迁移时无需搭建迁移环境,可在线提交迁移任务并随时监控迁移过程,请参考在线迁移服务文档

    • OssImport

      使用OssImport工具进行迁移。适用于各类数据源的历史数据,批量迁移到OSS,请参考OssImport文档

    • 镜像回源

      适用于客户源站无缝迁移数据到OSS。即服务已经在自己建立的源站或者在其他云产品上运行,需要迁移到OSS上,但是又不能停止服务,此时可利用镜像回源功能实现。在OssImport完成历史数据迁移后,将新产生的数据迁移过程,请参考镜像回源无缝迁移到OSS

    • OSS跨区域复制

      适用于同一账户下,从OSS Bucket A将数据复制到Bucket B,请参考设置跨区域复制。在使用时,需注意设置“同步历史数据”。此外,如果不希望同步BucketA的删除操作,可将同步策略设置为“写同步”。

    • 闪电立方

      适用于线下数据中心大规模数据迁移上云,支持TB到PB级别大规模数据上云。具体参考官网产品介绍闪电立方

    • OSS API或SDK

      使用OSS API或SDK编写代码实现,适用于开发能力较强的客户,请参考Copy ObjectUpload Part Copy

    场景1:将非OSS上的数据迁移到OSS中

    在此场景中,迁往目的地是OSS上的Bucket,而源数据不是存储在OSS上,比如在本地、HTTP、第三方云存储(如AWS S3、Azure Blob等)。

    各方法的选择如下:

    • 在线迁移服务

      适用于各种规模大小的第三方源数据迁移到OSS。

    • OssImport

      适用于历史数据批量迁移到OSS,特别适合数据量比较大的情况。数据量大时,使用OssImport分布式版本。

    • 镜像回源

      适用于源站新的热数据在线迁移到OSS,如满足您对于数据热迁移、特定请求重定向等需求。

    • 闪电立方

      适用于用户本地数据中心,TB到PB级别大规模数据上云

    • OSS API/SDK(Copy Object、Upload Part Copy)

      适用于有特性需求,使用OSS API/SDK 编写代码上传OSS。

    场景2:OSS之间的数据迁移

    此场景是指将OSS源Bucket数据迁移到OSS目标Bucket中。迁移的数据源和迁移目的地都是OSS的Bucket。

    各方法的选择如下:

    • 在线迁移服务

      适用于各种规模大小的数据迁移场景。

    说明:不适用于归档类型的文件迁移。

    • OSS跨区域复制

      • 源Bucket和目标Bucket属于同一个用户,且分属不同的地域。

      • 源Bucket、目标Bucket存储类型都不是归档类型:

    说明:如果希望源Bucket历史数据迁移(复制到)目标Bucket后,源Bucket的变更(新增、更新、删除)不再同步到目标Bucket,可以在控制台关闭源Bucket的跨区域复制。

    • OssImport

      更适合数据量较大(如大于10TB)历史数据迁移场景。

    • OSS API/SDK(Copy Object、Upload Part Copy)

      建议优先使用OssImport或跨区域复制,除非用户有更细化或特性的需求,且有一定的开发能力。

    其他

    如果问题还未能解决,请联系售后技术支持



    更多场景实践敬请关注【阿里云云栖号】

    本文为阿里云内容,未经允许不得转载。

    相关文章

      网友评论

        本文标题:两大场景,数据迁移到OSS竟然这么简单!

        本文链接:https://www.haomeiwen.com/subject/nbrczctx.html