DataX快速入门(数据库同步工具)

参考网址:

https://mp.weixin.qq.com/s/6yfjFlAifJfq7JoBeOJjeg

有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过 或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：

：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）

存储方式：这个效率太慢了，要是数据量少还好，我们使用这个方式的时候，三个小时才同步两千条数据…

常见数据异构的几款中间件的区别如下：

今天介绍一款不错的中间件：DataX

为了 解决异构数据源同步问题，DataX 将复杂的网状同步链路变成了星型数据链路 ，DataX 作为中间传输载体负责连接各种数据源；

• 当需要接入一个新的数据源时，只需要将此数据源对接到 DataX，便能跟已有的数据源作为无缝数据同步。

DataX3.0 框架设计

DataX 采用 framework + Plugin 架构，将数据源读取和写入抽象称为 Reader/Writer 插件，纳入到整个同步框架中。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I1YALhQf-1676987924277)(data:image/svg+xml,%3C%3Fxml version=‘1.0’ encoding=‘UTF-8’%3F%3E%3Csvg width=‘1px’ height=‘1px’ viewBox=‘0 0 1 1’ version=‘1.1’ xmlns=‘http://www.w3.org/2000/svg’ xmlns:xlink=‘http://www.w3.org/1999/xlink’%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=‘none’ stroke-width=‘1’ fill=‘none’ fill-rule=‘evenodd’ fill-opacity=‘0’%3E%3Cg transform=‘translate(-249.000000, -126.000000)]’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

DataX3.0 核心架构

DataX 完成单个数据同步的作业，我们称为 Job，DataX 接收到一个 Job 后，将启动一个进程来完成整个作业同步过程。关注公众号：互联网架构师，回复关键词：9 获取阿里内部Java性能调优手册！DataX Job 模块是单个作业的中枢管理节点，承担了数据清理、子任务切分、TaskGroup 管理等功能。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SlSa2aEU-1676987924277)(data:image/svg+xml,%3C%3Fxml version=‘1.0’ encoding=‘UTF-8’%3F%3E%3Csvg width=‘1px’ height=‘1px’ viewBox=‘0 0 1 1’ version=‘1.1’ xmlns=‘http://www.w3.org/2000/svg’ xmlns:xlink=‘http://www.w3.org/1999/xlink’%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=‘none’ stroke-width=‘1’ fill=‘none’ fill-rule=‘evenodd’ fill-opacity=‘0’%3E%3Cg transform=‘translate(-249.000000, -126.000000)]’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

• DataX Job 启动后，会根据不同源端的切分策略，将 Job 切分成多个小的 Task (子任务)，以便于并发执行。
• 接着 DataX Job 会调用 Scheduler 模块，根据配置的并发数量，将拆分成的 Task 重新组合，组装成 TaskGroup（任务组）
• 每一个 Task 都由 TaskGroup 负责启动，Task 启动后，会固定启动 Reader Channel Writer 线程来完成任务同步工作。
• DataX 作业运行启动后，Job 会对 TaskGroup 进行监控操作，等待所有 TaskGroup 完成后，Job 便会成功退出（异常退出时 值非 0 ）

DataX 调度过程：

1. 首先 DataX Job 模块会根据分库分表切分成若干个 Task，然后根据用户配置并发数，来计算需要分配多少个 TaskGroup；
2. 计算过程：，最后由 TaskGroup 根据分配好的并发数来运行 Task（任务）

准备工作：

• JDK（1.8 以上，推荐 1.8）
• Python（2，3 版本都可以）
• Apache Maven 3.x（Compile DataX）（手动打包使用，使用 包方式不需要安装）

安装 JDK：

下载地址：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html（需要创建 Oracle 账号）

• 因为 上自带 的软件包，所以不需要进行安装。

Linux 上安装 DataX 软件

• 当未删除时，可能会输出：

验证：

输出：

DataX 基本使用

查看 的模板：

输出：

根据模板编写 文件

输出：（要是复制我上面的话，需要把 带的内容去掉）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-22uyqo1p-1676987924278)(data:image/svg+xml,%3C%3Fxml version=‘1.0’ encoding=‘UTF-8’%3F%3E%3Csvg width=‘1px’ height=‘1px’ viewBox=‘0 0 1 1’ version=‘1.1’ xmlns=‘http://www.w3.org/2000/svg’ xmlns:xlink=‘http://www.w3.org/1999/xlink’%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=‘none’ stroke-width=‘1’ fill=‘none’ fill-rule=‘evenodd’ fill-opacity=‘0’%3E%3Cg transform=‘translate(-249.000000, -126.000000)]’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

安装 MySQL 数据库

分别在两台主机上安装：

1）准备同步数据（要同步的两台主机都要有这个表）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OLxwxJpJ-1676987924278)(data:image/svg+xml,%3C%3Fxml version=‘1.0’ encoding=‘UTF-8’%3F%3E%3Csvg width=‘1px’ height=‘1px’ viewBox=‘0 0 1 1’ version=‘1.1’ xmlns=‘http://www.w3.org/2000/svg’ xmlns:xlink=‘http://www.w3.org/1999/xlink’%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=‘none’ stroke-width=‘1’ fill=‘none’ fill-rule=‘evenodd’ fill-opacity=‘0’%3E%3Cg transform=‘translate(-249.000000, -126.000000)]’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

因为是使用 DataX 程序进行同步的，所以需要在双方的数据库上开放权限：

2）创建存储过程：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S9zXi94e-1676987924278)(data:image/svg+xml,%3C%3Fxml version=‘1.0’ encoding=‘UTF-8’%3F%3E%3Csvg width=‘1px’ height=‘1px’ viewBox=‘0 0 1 1’ version=‘1.1’ xmlns=‘http://www.w3.org/2000/svg’ xmlns:xlink=‘http://www.w3.org/1999/xlink’%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=‘none’ stroke-width=‘1’ fill=‘none’ fill-rule=‘evenodd’ fill-opacity=‘0’%3E%3Cg transform=‘translate(-249.000000, -126.000000)]’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)图片

3）调用存储过程（在数据源配置，验证同步使用)：

通过 DataX 实 MySQL 数据同步

1）生成 MySQL 到 MySQL 同步的模板：

2）编写 文件：

3）验证

输出：

你们可以在目的数据库进行查看，是否同步完成。

• 上面的方式相当于是完全同步，但是当数据量较大时，同步的时候被中断，是件很痛苦的事情；
• 所以在有些情况下，增量同步还是蛮重要的。

使用 DataX 进行增量同步

使用 DataX 进行全量同步和增量同步的唯一区别就是：增量同步需要使用 进行条件筛选。 关注公众号：互联网架构师，回复关键词：2T 获取阿里架构师资源！（即，同步筛选后的 SQL）

1）编写 文件：

• 需要注意的部分就是：（条件筛选） 和 （同步前，要做的事） 参数。

2）验证：

输出：

目标数据库上查看：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZrVnKtAQ-1676987924279)(data:image/svg+xml,%3C%3Fxml version=‘1.0’ encoding=‘UTF-8’%3F%3E%3Csvg width=‘1px’ height=‘1px’ viewBox=‘0 0 1 1’ version=‘1.1’ xmlns=‘http://www.w3.org/2000/svg’ xmlns:xlink=‘http://www.w3.org/1999/xlink’%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=‘none’ stroke-width=‘1’ fill=‘none’ fill-rule=‘evenodd’ fill-opacity=‘0’%3E%3Cg transform=‘translate(-249.000000, -126.000000)]’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

3)基于上面数据，再次进行增量同步：