数据同步

数据同步

简介数据同步功能是阿里云云备份提供的一项在线数据同步服务,便于将源端数据(包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等)同步到目的端(包括阿里云上)。

说明 云备份Windows客户端不支持使用NFS协议挂载NAS。如果源端或者目的端包含NFS协议的NAS,请您在创建同步计划时选择云备份Linux客户端。

OSS/S3均不支持同步归档类型的Object, 仅复制Object的数据(包括软链接Symlink指向的文件),不支持复制Object读写权限等元数据信息。

关键优势增量同步

支持增量策略,同步任务可以按照预设时间自动运行,增量同步时仅同步变化的文件,大幅提升同步效率。

操作简单

云上数据源原生支持,配置简单。

性能卓越

优化的数据传输链路,相比传统拷贝工具性能大幅提升。

工作原理您首先需要在本地一台或多台服务器上安装并激活云备份客户端,然后登录云备份控制台添加数据源(源端数据源和目标端数据源)。

创建同步计划。在执行同步任务时,云备份客户端组会对指定的文件夹进行扫描,识别需要同步的文件,将增量数据上传至云端,完成同步。

云备份支持通过公网、VPN或专线同步至阿里云。对于通过公网同步,只需要安装云备份客户端的服务器能够访问公网即可,不需要将该服务器向公网暴露IP。

操作流程使用云备份控制台进行数据同步的步骤如下所示:

说明 同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储数据源前,您需要在数据源所在服务器安装客户端。客户端用于和云备份建立数据和管控服务。

开通云备份

开通云备份免费。使用该功能,云备份不收取任何费用。阿里云NAS收取公网读取文件费用和存储文件费用,阿里云OSS收取存储文件费用。计费详情请参见阿里云NAS计费概述和阿里云OSS计费概述。

安装客户端

同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储前,您需要在执行同步任务的服务器上安装客户端,服务器要求和数据源节点网络互通。客户端用于和云备份建立通信服务和管控服务。

添加数据源

在云备份控制台添加HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储数据源。

创建同步计划

创建数据同步计划,云备份启动计划并按照计划持续同步数据。数据同步服务仅负责数据的同步,无法保证数据的一致性和完整性。同步任务完成后,请您全量校验同步的数据,务必自行做好源端和目的端数据一致性校验。

警告 请您务必在数据同步任务完成后,校验目的端传输数据,确保数据无误。您在删除源数据前,未校验目的端传输数据无误,导致数据丢失所引起的一切损失和后果均由您自行承担。

使用限制云备份Windows客户端不支持使用NFS协议挂载NAS。如果源端或者目的端包含NFS协议的NAS,请您在创建同步计划时选择云备份Linux客户端。

OSS/S3均不支持同步归档类型的Object, 仅复制Object的数据(包括软链接Symlink指向的文件),不支持复制Object读写权限等元数据信息。

增量文件列表(ChangeList)按照增量文件列表同步数据,不需要进行全量扫描,能够减少扫描文件成本,提升同步效率。创建同步计划,若您选择的数据源为对象存储OSS或者S3兼容存储,则可以使用定制化增量文件列表同步功能。

增量文件列表是一个包含数据源上需要同步的文件信息的CSV表格。每一行代表一个文件,其中的Name字段表示相对于数据源同步路径的相对路径。例如,如下是一个名称为changeList1.csv的表格,Name字段是必须列,用于记录待同步文件列表。其他列暂不支持。

说明 Name取值不能重复,否则在数据同步时会相互覆盖。

Name不能取值为目录,必须指定为一个文件。

在创建数据同步计划时,填写增量文件列表所在的目录路径。数据同步任务启动时,会读取源端数据源上该路径下的所有CSV文件,并进行解析,将需要同步的文件传输到目标端。

说明 例如,创建OSS到NAS同步计划,可用增量文件列表指定待同步的文件列表。增量文件列表changeList1.csv和changeList2.csv保存于源端/changelist目录下,则增量文件列表路径取值为/changelist。

每个CSV表格内的文件处理完成后,该CSV表格会被移动到更深一层的/Completed目录中,用于记录处理完成。

处理前CSV表格目录

处理后CSV表格目录

/changelist/changeList1.csv

/changelist/changeList2.csv

/changelist/Completed/changeList1.csv

/changelist/Completed/changeList2.csv

费用使用该功能,云备份不收取任何费用。

使用阿里云NAS,NAS收取文件存储费用。更多信息,请参见阿里云NAS计费概述。

使用阿里云OSS,OSS收取文件存储费用。更多信息,阿里云OSS计费概述。

后续步骤准备工作

添加数据源

相关推荐

怎么用鼠标在word里面写字
365bet盘口

怎么用鼠标在word里面写字

🗓️ 06-28 👁️ 9102
𦒹的意思,𦒹的解释,𦒹的部首
365bet盘口

𦒹的意思,𦒹的解释,𦒹的部首

🗓️ 08-04 👁️ 9291
《全民k歌》访客记录查看方法
bte365体育

《全民k歌》访客记录查看方法

🗓️ 07-02 👁️ 6152

友情链接