腾讯云数据迁移步骤

步骤1:准备工作
1. 购买并创建子网。
进入腾讯云管理控制台“云网络 虚拟私有云”购买虚拟私有云(VPC)。
单击VPC名称,进入到“子网”页签中,创建子网。
说明:
具体操作详情,请参见腾讯云虚拟私有云帮助中心。

2. 创建并配置腾讯云服务器安全组。
在腾讯云管理控制台的“弹性计算 安全组”中创建安全组
单击安全组列表中的“管理规则”,配置相关管理规则。

步骤2:订购实例
1. 单击“控制台 > 实例管理 > 实例订购”,进入订购CDM页面。
2. 实例配置样例如下:
 
   计费模式:目前只支持按小时后付费模式。
 
   区域:选择CDM实例的区域,不同区域的资源之间内网不互通,这里必须选择与目标数据源所在区域一致。
 
   实例类型:用户按实际业务数据量选择实例规格,这里选择“中规格”即可,适用大部分迁移场景。
 
   实例名称:实例名称系统默认以CDM+时间戳格式显示,也可手动输入自定义实例名称(1~32个字符,仅字母、数字、中文、中划线或下划线,中文、字母开头)。例如:CDM-202008061417。
 
   虚拟私有云:即,VPC(Virtual Private Cloud),这里必须选择与目标数据源相同的VPC。
 
   子网:推荐与目标数据源的子网一致。
 
   安全组:推荐与目标数据源安全组一致。
 
    说明:
 
    这里所配置的子网、安全组也可以与目标数据源不一致,但是需要配置安全组规则,允许CDM实例能正常访问目标数据源。
 
   其它参数保持默认即可。
 
3. 查看当前配置,确认无误后单击“立即购买”进入规格确认界面。
 
    说明:
 
    实例创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。
 
4. 单击“确认订单”,系统开始自动创建CDM实例,在“实例管理”页面可查看实例创建进度。
 
步骤3:创建并配置项目组
. 单击CDM”控制台 > 项目组空间 > +创建”,进入创建项目组空间页面。
 
2. 填写项目组空间信息,包括基本信息、实例配置、计算引擎配置、成员配置。

   基本信息:自定义项目组名称和描述信息。
 
   实例配置:为项目组关联实例,下拉选择实例。
 
    说明:
 
  可以选择到的实例为“运行中”实例状态且未绑定项目组。
 
   计算引擎配置:目前只支持系统默认的“单机引擎”。
 
   成员配置:为项目组配置成员并赋予角色,具体可参见“添加项目组成员”。
 
3. 单击“创建”,回到项目组空间列表页面。

步骤4:创建数据连接
数据连接说明
迁移本地MySQL数据库到云数据库MySQL前,需要创建2个数据连接:
 
1. 本地MySQL数据连接:CDM连接本地MySQL数据库。
 
2. 腾讯云云数据库MySQL数据连接:CDM连接腾讯云云数据库MySQL。
 
由于CDM需要访问本地数据源,所以创建数据连接前,需自行保证CDM与本地MySQL数据库的网络可以互通。
 
前提条件
已获取本地MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读、写权限。
用户已订购腾讯云云数据库MySQL,已获取腾讯云云数据库MySQL的IP地址、端口、数据库名称、用户名、密码,且该用户拥有腾讯云云数据库MySQL的读、写权限。
 
创建本地MySQL数据连接
1. 单击CDM“控制台 > 项目组空间”右侧的“数据迁移”,进入“数据迁移”页面。
 
2. 单击“数据连接”页签,单击“+创建”按钮,进入选择数据源界面
3.单击“下一步”,进入数据源配置界面

单击“显示高级属性”可查看更多可选参数,具体请参见“配置MySQL/MySQL_PXC连接”。这里保持默认,必填参数如下表所示。
 
名称
 
输入便于记忆和区分的连接名称。
 
local_mysql
 
数据库服务器
 
MySQL数据库的IP地址或域名。
 
192.168.0.1
 
端口
 
MySQL数据库的端口,默认显示3306。
 
3306
 
数据库名称
 
MySQL数据库的名称。
 
girls
 
用户名
 
拥有MySQL数据库的读、写和删除权限的用户。
 
root
 
密码
 
用户的密码

4. 单击“创建”,回到数据连接列表页面。
 
创建腾讯云云数据库MySQL数据连接
1. 在“数据连接”页面,单击“+创建”,数据源选择“腾讯云/云上/云数据库/MySQL”。
 
2. 单击“下一步”配置云数据库MySQL的连接参数,必填参数如下表所示,可选参数保持默认即可,具体请参见“创建数据连接”。
3. 单击“创建”,回到数据连接列表页面。

步骤5:创建全局变量
全局变量用于被引用在数据迁移流程中的数据库名、表名 、文件名、文件路径等参数中,引用方式为${system.全局变量名},创建全局变量的步骤为可选。
 
1. 单击“控制台 > 变量管理 > 全局变量”中的“+新增”,进入“新增变量”页面。

2. 在“新增变量”弹出框中,填写变量配置信息
例:
 
源端:table1=beauty
 
目标端:table2=student

3. 单击“确定”,回到全局变量列表页面。
 
步骤6:创建数据迁移流程
1. 单击CDM“控制台 > 项目组空间”右侧的“数据迁移”,进入“数据迁移”页面。
 
2. 单击“数据流转”页签,单击“+新建”按钮,开始新建用户本地(MySQL)至腾讯云云数据库(MySQL)的迁移流程,
基本信息:
流程名称:用户自定义流程名称,例如:local_mysql2cloud_mysql。
描述:对创建的流程的说明。
目标目录:选择流程需要创建在哪个目录路径下。该目录为在“数据流转”页面左侧中创建的目录。
 
3. 单击“下一步”,进入“选择数据源”界面

    数据来源:
 
    -   资源池类型:选择“用户本地”。
 
    -   数据源分类:选择“关系型数据库”。
 
    -   数据源类型:选择“MySQL”。
 
    -   源连接名称:下拉选择,在“数据连接”中配置的“用户本地/关系型数据库”类型的“MySQL”数据源。如果下拉选不到,可以单击右侧的“+”图标进行新建数据连接。
 
    -   数据库名/表名:选择MySQL数据库名/表名,下方的输入框中自动填充所选数据库名/表名。如果需要引用变量,可以在下方的输入框中填入引用变量方式,如:girls和${system.table1}。
 
        说明:
 
        table1已在全局变量中定义为beauty,即,抽取girls数据库中的beauty表。
 
    数据目标:
 
    -   资源池类型:选择“腾讯云-云上”。
 
    -   数据源分类:选择“云数据库”。
 
    -   数据源类型:选择“MySQL”。
 
    -   目的连接名称:下拉选择,在“数据连接”中配置的“腾讯云-云上/云数据库”类型的“MySQL”数据源。如果下拉选不到,可以单击右侧的“+”图标进行新建数据连接。
 
    -   数据库名/表名:下拉选择MySQL数据连接中的数据库名称/表名,下方的输入框中自动填充所输或所选数据库名/表名。如果需要引用变量,可以在下方的输入框中填入引用变量方式,如:student和${system.table2}。
 
        说明:
 
        table2已在全局变量中定义为student,即,装载至student数据库的student表中。
 
    -   导入前清空数据:导入数据前,选择是否清空目的表中的数据。下拉选择“不清除”或“清除原数据”。
 
4. 单击“下一步”,进入“字段映射”界面,如下图所示。
 
   字段映射:
 
    CDM会自动匹配源和目的字段。
 
    如果字段映射顺序不匹配,可通过单击“目的字段”右上角的“字段调换顺序”图标进行字段调整。
 
5. 单击“下一步”,进入“任务配置”界面,如下图所示。
 
   任务配置:
    -   失败重试:如果流程执行失败,可选择是否自动重试,这里保持默认值“不重试”。
 
    -   读取并发数:设置同时执行的抽取任务数。这里保持默认值“5”。
 
    -   写入并发数:设置同时执行的装载任务数。这里保持默认值“5”。
 
6. 单击“保存”,回到“数据流转”界面,可查看流程状态为“待配置调度”。
 
7. 选择“待配置调度”状态的流程,进行“调度配置”,具体可参见“配置流程调度”。
 
    调度配置完成了的流程状态为“待发布”。
 
8. 选择“待发布”状态的流程,进行“发布”。
 
    发布完成了的流程状态为“已发布”。
 
9. 选择“已发布”状态的流程,进行“上线”。
 
   上线完成了的流程状态为“已上线”。
 
步骤7:查看流程执行情况
1. 进入“运维监控”页面,查看整个流程的调度执行情况。
 方式一:单击CDM“控制台 > 项目组空间 > 数据迁移 > 数据流转”页面,在流程列表“操作”栏中单击“更多 > 运维监控”,进入运维监控页面。
说明:
只有”已上线“状态的流程,才可以查看运维监控。
方式二:单击CDM“运维监控“,进入运维监控页面。

2. 根据流程执行的阶段,选择流程执行时不同阶段的页签(调度计划、实时监控、执行历史、待执行),具体可参见“运维监控”。

标签