码迷,mamicode.com
首页 > 其他好文 > 详细

怎么将数据迁移到对象存储OSS?

时间:2020-06-24 16:35:39      阅读:75      评论:0      收藏:0      [点我收藏+]

标签:历史   tencent   写代码   com   本地   实现图   情况下   https   oms   

用户希望将历史数据迁移到OSS上的用户目标存储桶。需要迁移的源数据可能来自某个OSS桶,也可能来自本地或第三方云存储(例如AWS S3,Azure Blob,腾讯云COS,七公牛,百度BOS,云,金山KS3)。等等,HTTP等。

主要方法

在线迁移服务

使用联机迁移服务进行迁移。各种数据源的数据,批量迁移到OSS。迁移期间无需设置迁移环境。您可以在线提交迁移任务并随时监控迁移过程。请参阅在线迁移服务文档。

购买阿里云服务器ECS或其它任何产品,请先领取阿里云通用代金券礼包!
购买腾讯云服务器ECS或其它任何产品,请先领取腾讯云通用代金券礼包!

OssImport

使用Ossimport工具进行迁移。有关各种数据源的历史数据,批量迁移到OSS,请参阅OssImport文档。

镜像回源

适用于客户源站,可将数据无缝迁移到OSS。也就是说,该服务已在其自身或其他云产品上建立的源站上运行,并且需要迁移到OSS,但该服务无法停止。在这种情况下,可以实现图像后向源功能。在Ossimport完成历史数据迁移后,新生成的数据迁移过程请参考镜像反向源并无缝迁移到OSS。

OSS跨区域复制

适用于同一帐户,将数据从OSS Bucket A复制到Bucket B,请参考设置跨区域复制。使用时,请注意设置“??同步历史数据”。此外,如果您不想同步Bucket的删除操作,可以将同步策略设置为“write sync”。

闪电立方

适用于离线数据中心的大规模数据迁移,支持TB到PB级别的大规模数据。具体参考官方网站产品介绍闪电立方体。

OSS API或SDK

使用OSS API或SDK编写代码实现,适用于具有强大开发功能的客户,请参阅复制对象,上传零件副本。

场景1:将非OSS上的数据迁移到OSS

在此方案中,目标是OSS上的存储桶,源数据不存储在OSS上,例如本地,HTTP,第三方云存储(例如AWS S3,Azure Blob等)。

每种方法的选择如下:

在线迁移服务

它适用于将各种大小的第三方源数据迁移到OSS。

OssImport

适用于将历史数据批量迁移到OSS,特别适用于大数据量。当数据量很大时,请使用ossimport的分布式版本。

镜像回源

适用于源站新的热门数据在线迁移到OSS,例如您对数据热迁移,特定请求重定向等的需求。

闪电立方

适用于本地数据中心的用户,TB到PB级别的大规模数据

OSS API/SDK复制对象,上传零件副本

适用于功能要求,使用OSS API/SDK编写代码来上传OSS。

场景2:OSS之间的数据迁移

此场景是指将OSS源桶数据迁移到OSS目标桶。迁移的数据源和迁移目标都是OSS存储桶。

每种方法的选择如下:

在线迁移服务

适用于各种规模的数据迁移方案。

说明:不适用于归档类型的文件迁移。

OSS跨区域复制

源桶和目标桶属于同一用户,属于不同的区域。

源存储桶和目标存储桶存储类型不是存档类型:

说明:如果要在迁移源存储桶历史数据后迁移(复制到)目标存储桶,则源存储桶更改(添加,更新,删除)将不再与目标存储桶同步。您可以在控制台中关闭源存储桶的跨区域副本。

OssImport

它更适用于具有大数据量(例如大于10TB)的历史数据迁移方案。

OSS API/SDK复制对象,上传零件副本

建议首先使用ossImport或跨区域复制,除非用户具有更多粒度或功能要求并具有某些开发功能。

其他

如果问题仍未解决,请联系售后技术支持。

怎么将数据迁移到对象存储OSS?

标签:历史   tencent   写代码   com   本地   实现图   情况下   https   oms   

原文地址:https://blog.51cto.com/14829594/2506793

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!