阿里云数据传输DTS功能特性是什么?

  • A+
所属分类:数据传输服务DTS
       
阿里云通用优惠券
优惠券支持阿里云官网全部产品使用
立即领券

一、数据迁移

数据迁移功能旨在帮助用户方便、快速得实现各种数据源之间的数据迁移。实现数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。数据传输服务提供的数据迁移功能能够支持同异构数据源之间的数据迁移,同时提供了库表列三级映射、数据过滤多种ETL特性。

多种数据源类型

数据迁移支持多种数据源之间的数据迁移,不同数据源的支持情况如下表:

数据源 结构迁移 全量迁移 增量迁移
Oracle->RDS For MySQL 支持 支持 支持
Oracle->RDS For PPAS 支持 支持 支持
Oracle->DRDS 不支持 支持 支持
MySQL ->RDS For MySQL 支持 支持 支持
SQLServer->RDS For SQLServer 支持 支持 支持
PostgreSQL-> RDS For PostgreSQL 支持 支持 支持
MongoDB -> MongoDB 支持 支持 支持
Redis -> Redis 支持 支持 支持
MySQL->DRDS 不支持 支持 支持
MySQL->PetaData 不支持 支持 不支持
MySQL->OceanBase 支持 支持 支持

数据迁移支持的源实例类型包括:
(1) RDS实例
(2) 本地自建数据库
(3) ECS自建数据库
(4) MongoDB实例
(5) Redis实例

数据迁移支持的目标实例包括:
(1) RDS实例

(2) ECS自建数据库
(3) MongoDB实例
(4) Redis实例
(5) DRDS实例
(6) PetaData实例
(7) OceanBase实例

多种迁移方式

数据传输服务提供的数据迁移方式包括:

  • 在线迁移默认使用在线迁移,在线迁移只要用户配置迁移的源、目标实例及迁移对象即可,DTS会自动完成整个数据迁移过程。在线迁移支持数据不停服迁移,然而在线迁移要求DTS服务器能够同时跟源实例、目标实例连通。
  • 离线文件迁移离线文件迁移要求用户先使用DTS客户端将源实例的数据导出成文件后,再将文件导入到目标实例。 离线迁移不支持数据不停服迁移,它主要用于解决DTS服务器跟源数据库网络不通的情况。

如果DTS服务器同源实例网络连通的情况下,建议使用在线迁移,降低数据迁移成本。

多种迁移步骤

数据迁移支持结构迁移全量数据迁移增量数据迁移等多种迁移步骤。其中:
(1) 结构迁移,帮助用户将源实例中的结构对象定义一键迁移至目标实例。
(2) 全量数据迁移,帮助用户将源实例中的历史存量数据迁移至目标实例。
(3) 增量数据迁移,帮助用户将迁移过程中,源实例产生的增量数据实时同步到目标实例。
通过结构迁移+全量数据迁移+增量数据迁移 可以简单实现业务不停服迁移。

多种ETL特性

数据迁移支持多种ETL特性,主要包括:
(1) 支持了库表列三级对象名映射,库表列三级对象名映射是指可以实现对源跟目标实例的库名或表名,甚至列名不同的两个对象之间进行数据迁移。
(2) 支持迁移数据过滤,迁移数据过滤,是指用户可以对要迁移的表设置某种SQL条件过滤要迁移的数据,例如用户可以设置时间条件,只迁移最新的数据。

报警机制

数据迁移提供迁移异常报警,一旦迁移任务出现异常,即会向任务的owner发送报警短信,让用户第一时间了解并处理异常任务。

迁移任务

迁移任务是数据传输服务进行数据迁移的基本单元。如果需要进行数据迁移,必须在数据传输服务控制台创建一个迁移任务。当创建迁移任务时,需要配置迁移的源跟目标实例连接方式,迁移对象及迁移类型等信息。用户可以在数据传输服务控制台进行迁移任务的创建、管理、停止及删除等操作。
迁移任务在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示:

迁移状态 状态说明 可进行操作
未启动 迁移任务已经完成任务配置,但是还没有进行迁移前的预检查的任务 预检查
删除
预检中 迁移任务正在进行前期的预检查阶段 删除
预检通过 迁移任务已经通过迁移之前的预检查,但是还没有启动迁移 启动
删除
迁移中 迁移任务正在进行正常的数据迁移 暂停
结束
删除
迁移失败 迁移任务异常,可以根据任务的进度确认具体是哪个阶段失败 删除
暂停中 这个迁移任务已经被暂停迁移 启动
删除
完成 迁移任务已经完成数据迁移,或者用户点击结束停止数据迁移 删除

二、数据订阅

实时数据订阅功能旨在帮助用户获取RDS/DRDS的实时增量数据,用户能够根据自身业务需求自由消费增量数据,例如实现缓存更新策略业务异步解耦异构数据源数据实时同步含复杂ETL的数据实时同 等多种业务场景。

功能列表

(1) 支持公共云、金融云RDS For MySQL实例的数据订阅。
(2) 支持经典网络、VPC网络下RDS For MySQL实例的数据订阅。

数据源类型

实时数据订阅支持的数据源类型包括:

  • RDS For MySQL
  • DRDS

其中,DRDS 不记录事务日志,所以如果需要订阅DRDS的实时增量数据,那么需要通过订阅DRDS底层挂载的RDS实例的增量日志来实现

订阅对象

数据订阅的订阅对象可以为:。用户可以根据需要订阅某几个表的增量数据。

数据订阅将增量数据细分为数据变更(Data Manipulation Language 简称DML)结构变更(Data Definition Language,简称DDL),配置数据订阅时,可以选择需要订阅的具体数据变更类型。

订阅通道

订阅通道是进行增量数据订阅与消费的基本单元。如果要订阅RDS的增量数据,必须在数据传输控制台创建一个针对这个RDS实例的订阅通道。订阅通道会实时拉取RDS的增量数据,并将最新一段时间的增量数据保存在订阅通道中,用户可以使用数据传输提供SDK从这个订阅通道中订阅增量数据,并进行相应的消费。同时,用户可以在数据传输控制台进行订阅通道的创建、管理及删除等操作。
一个订阅通道同时只能被一个下游SDK订阅消费,如果用户有多个下游需要订阅同一个RDS实例时,需要创建多个订阅通道。这些订阅通道订阅的RDS实例均为同一个实例ID。

订阅通道在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示:

通道状态 状态说明 可进行操作
预检中 订阅通道已经完成任务配置,正在进行启动之前的简单预检查 删除订阅
未启动 迁移任务已经通过迁移之前的预检查,但是还没有启动订阅 - 开始订阅
- 删除订阅
初始化 订阅通道正在进行启动初始化,一般需要1分钟左右 删除订阅
正常 订阅通道正在正常拉取RDS实例的增量数据 - 查看示例代码
- 查看订阅数据
- 删除订阅
异常 订阅通道拉取RDS实例增量数据异常 - 查看示例代码
- 删除订阅

高级特性

数据订阅支持多种特性,有效降低用户使用门槛,主要包括:
(1) 动态增减订阅对象, 在数据订阅过程中,用户可以随时增加或减少需要订阅的对象。
(2) 在线查看订阅数据, 数据传输DTS控制台支持在线查看订阅通道中的增量数据。
(3) 修改消费时间点,数据订阅支持用户随时修改需要消费数据对应的时间点。
(4) 完善监控体系, 数据订阅提供订阅通道状态、下游消费延迟的报警监控功能。用户可以根据业务敏感度,自定义消费延迟报警阈值。

 三、数据同步

数据实时同步功能旨在帮助用户实现两个数据源之间的数据实时同步。通过数据实时同步功能可实现异地多活数据异地灾备本地数据灾备数据异地多活跨境数据同步查询、报表分流云BI实时数据仓库等多种业务场景。

功能列表

DTS支持的同步功能如下表:

同步源实例 同步目标实例 单向/双向同步
通过专线接入阿里云的自建MySQL RDS For MySQL
ECS上的自建MySQL
通过专线接入阿里云的自建MySQL
单向同步
ECS上的自建MySQL RDS For MySQL
ECS上的自建MySQL
通过专线接入阿里云的自建MySQL
单向同步
RDS For MySQL RDS For MySQL 双向同步
RDS For MySQL ECS上的自建MySQL
通过专线接入阿里云的自建MySQL
单向同步
RDS For MySQL
ECS上的自建MySQL
通过专线接入阿里云的自建MySQL
MaxCompute(原ODPS) 单向同步
RDS For MySQL
ECS上的自建MySQL
通过专线接入阿里云的自建MySQL
AnalyticDB(分析型数据库) 单向同步
RDS For MySQL
ECS上的自建MySQL
通过专线接入阿里云的自建MySQL
Datahub(流计算) 单向同步

同步对象

  • 数据同步的同步对象的选择粒度可以为:。用户可以根据需要同步某几个表的数据。
  • 数据同步支持库、表、列名映射,即用户可以进行两个不同库名的数据库之间的同步,或两个不同表名的表之间的数据同步。
  • 数据同步支持列选择,即用户可以根据业务需求,只同步表中的某几列数据。

同步作业

同步作业是数据实时同步的基本单元。如果要进行两个实例间的数据同步,必须在数据传输控制台创建同步作业。

同步作业在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示:

作业状态 状态说明 可进行操作
预检中 同步作业正在进行启动前的预检查 - 查看同步配置
- 删除同步
- 复制同步配置
- 配置监控报警
预检查失败 同步作业预检查没有通过 - 预检查
- 查看同步配置
- 修改同步对象
- 修改同步速度
- 删除同步
- 复制同步配置
- 配置监控报警
未启动 迁移任务已经通过迁移之前的预检查,但是还没有启动 - 预检查
- 开始同步
- 修改同步对象
- 修改同步速度
- 删除同步
- 复制同步配置
- 配置监控报警
同步初始化中 同步作业正在进行同步初始化 - 查看同步配置
- 删除同步
- 复制同步配置
- 配置监控报警
同步初始化失败 同步作业在初始化过程中,迁移失败 - 查看同步配置
- 修改同步对象
- 修改同步速度
- 删除同步
- 复制同步配置
- 配置监控报警
同步中 同步作业正常同步中 - 查看同步配置
- 修改同步对象
- 修改同步速度
- 暂停同步
- 删除同步
- 复制同步配置
- 配置监控报警
同步失败 同步作业同步异常 - 查看同步配置
- 修改同步对象
- 修改同步速度
- 启动同步
- 删除同步
- 复制同步配置
- 配置监控报警
暂停中 同步作业执行了暂停,处于暂停状态 - 查看同步配置
- 修改同步对象
- 修改同步速度
- 启动同步
- 删除同步
- 复制同步配置
- 配置监控报警

高级特性

数据订阅支持多种特性,有效降低用户使用门槛,主要包括:
(1) 动态增减同步对象: 在数据同步过程中,用户可以随时增加或减少需要同步的对象。
(2) 完善性能查询体系: 数据同步提供同步延迟、同步性能(RPS、流量) 趋势图,用户可以方便查看同步链路的性能趋势。
(3) 完善监控体系: 数据同步提供同步作业状态、同步延迟的报警监控功能。用户可以根据业务敏感度,自定义同步延迟报警阈值。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
阿里云服务器价格表_阿里云服务器租用_阿里云主机购买

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: