集成中心-数据集成介绍
「集成中心-数据集成」的核心能力是要解决各个业务系统数据分散的问题。它通过直接对接数据库的方式来实现数据的实时同步。用户只需要配置简单的字段映射规则,就可以实现数据库和工作表的同步,也支持数据库之间的数据同步。可以解决以下5个场景问题:
- 将旧系统的数据批量迁移到本平台
- 将其他系统的数据实时同步到本平台中使用
- 本平台直连其他数据库,并进行数据的增删查改操作
- 本平台中的数据实时同步到其他数据库中使用
- 作为一个连接桥梁,实现不同数据库之间的数据同步
目前支持的外部数据库类型为:MySQL、MariaDB、SQL Server、IBM db2、PostgreSQL。将持续增加其他常见的数据库,如 MongoDB、Oracle等。
集成步骤概述
入口
在首页依次点击左侧导航 > 集成中心,即可进入数据集成模块。
此功能仅组织的超级管理员或组织应用管理员可见。
集成三步骤
数据集成主要有三个模块:创建连接器、同步任务和数据源。
创建连接器
连接器是建立两端数据库的连接及字段映射关系,在创建连接器的过程中,用户可以为同一个数据源的多张表一次性建立多个同步任务。
选择“源数据”类型和“目的地”类型。
如源数据和目的地都支持MySQL,那么可以实现的同步功方式有为下面4种:
工作表同步到工作表
MySQL数据库同步到工作表
工作表同步到MySQL数据库
MySQL数据库同步到MySQL数据库
配置数据源和目的地数据
如果是工作表,只需选择工作表所在的应用
如果是外部数据库,则需要配置连接数据库的信息
外部数据库在连接时需要一些先决条件,在右侧我们列出相关项和方法指南。
建立同步任务
选择数据同步方式后(目前仅支持同步数据),需要配置数据对象之间的字段映射关系,然后点击右上角“创建X个同步任务”。
每个数据表都需要单独配置。 每个数据表都会分别建立对应的同步任务。
查看验证同步数据效果
- 1.查看现有表数据是否全部同步
- 2.更新源数据表记录看是否同步
- 3.新增一行记录看是否同步
同步任务
这里是用户管理已创建的同步任务的界面。你可以查看所有同步任务,以及任务运行的状态和已同步的数据量。在任务监控中,用户还可以查看任务累计运行时长、累计读取和写入数据量、最近读取和写入数据量的曲线图。
点击同步任务名称,可以配置由集成同步的数据是否触发工作流。
数据源
数据源界面里保存着用户在创建连接器过程中创建的所有数据源和数据目的地连接信息。你可以在创建其它同步任务时,直接使用已创建的数据源。请放心,用户在连接信息中输入的密码会加密存储,数管家平台也有完善的机制来保证这些信息不被开发人员查看和解密。
在新建连接器时,选择已有数据源。
数据集成示范
场景1:工作表同步到另一张工作表
场景2:本地MySQL同步到工作表
场景一:工作表同步到另一张工作表
在同一个组织内,工作表数据可以同步到本应用或其他应用的工作表中。这种常见于一些基础数据的被多个应用使用,但只需由专人在一个地方维护即可。
场景示例:将客户1表数据,同步客户2表中。
创建连接器
1、选择数据库类型
数据源和目的地类型都是工作表,然后点击下一步。
2、配置源数据
选择客户1表所在的应用,点击下一步。
这里仅显示出您作为应用管理员加入的应用。
3、配置目的地
选择客户2表所在的应用,这里为了演示我们将两张表放在了一个应用下。点击下一步。
创建同步任务
1、选择同步方式
选择[仅同步数据],后续版本将支持多表链接、数据合并、数据筛选等方式。
2、选择源数据要同步的表
点击[+数据对象]选择要同步的表,然后点击确认。 可以一次选择要同步的多张表,可以继续点击[+数据对象]添加要同步的表。
3、配置和目的地工作表的字段映射
由于客户2表已经存在,我们选择已有工作表。
可以更改表名称
建立字段映射,选择对应的字段,和导入Excel类似。
创建同步任务时,表名或者字段名不允许包含以下特殊字符:
`~!@#$%^&*()\-+=\<\>?:"{}|,./;'\[\]·!¥…()—《》?:“”【】、;‘,。『』「」
4、增加同步联系人表
点击[+数据对象],选择联系人表,点击确认
由于目的地的联系人表不存在,我们选择新建。
确定新表的名称
勾选要同步的字段
确定新表的字段名称
指定新表的标题字段
4、建立同步任务
当所有表的映射关系配置完毕后,点击右上角[创建X个同步任务]
创建成功后会有提醒
5、验证同步效果
进入客户表2,可以看到客户表1的所有数据都同步进来了。
联系人2表也自动创建并同步进来了数据
您可以继续修改客户1表已有的数据,或新增一行数据,然后验证客户2表是否已经同步。
通过日志我们看到,同步数据时不是一次性全量写入,而是分批写入的。在同步数据时,需要排队执行,如果当时全网同步任务太多,可能会慢一点。
场景二:MySQL同步到工作表
创建连接器
1、选择数据源和目的地的数据库类型
2、配置数据库连接
连接外部数据库时,需要满足一些先决条件后才可以访问。 如数据库版本号、权限、IP白名单等设置。
在右侧有针对此数据库的链接指南,您按文中的提示进行操作,保证正常链接。
满足先决条件后,在左侧填入访问数据库的信息,最后点击[测试连接]按钮,成功后点击右上角下一步。
3、配置目的地数据
选择要同步到哪个应用,然后点击右上角的下一步按钮。
创建同步任务
1、选择同步方式:仅同步数据
2、选择要同步的数据库和表并点击确定
3、确定目的工作表并建立字段映射
我们这里选择新建表并命名
选择要同步的字段
确定每个字段的名称和字段类型
指定标题字段
全部确定后,点击右上角[创建X个同步任务]
同步到已有表
如果选择了同步到已有表,则可以根据数据中的主键来识别重复数据,如果重复了可以选择时覆盖还是跳过。
4、验证同步效果
进入数据集成应用,可以看到新建了一张产品表并添加了记录。您可以继续修改MySQL中的数据或新增数据,验证同步效果。