合 otter用于跨云RDS for mysql之间配置双主实时同步
Tags: MySQL高可用实时同步双主开源工具RDSOtter互为主备
问题引出
客户需要将华为云rds for MySQL和天翼云rds for MySQL做一个双向同步
,当华为云rds宕机的时候,可以切换到天翼云继续提供服务,而且此时,天翼云的数据也可以自动同步到华为云rds,平时只使用华为云的rds,和双A方案有点差异,需要注意的是rds环境不能安装任何的软件,所以,我目前想到的方案有:
1、用MySQL自带的主从复制。这个方案最简单,但是不可行,因为华为云和天翼云都禁用了super权限,在执行change master
的时候会报权限不足的错误,“ERROR 1227 (42000): Access denied; you need (at least one of) the SUPER privilege(s) for this operation
”。
2、使用华为云或天翼云自带的数据同步功能。这个也不可行,翻阅了一下文档,同步只能全量+增量
同步,这对于双向同步来说不可行。
3、使用ogg远程捕获投递。ogg for MySQL从MySQL 5.7和ogg 19c开始支持远程捕获(Remote Capture)和远程投递(Remote Delivery),所以配置双向同步,该方案经过验证也是可行的!
- OGG用于跨云RDS之间配置双主实时同步(远程捕获和投递):https://www.dbaup.com/oggyongyukuayunrdszhijianpeizhishuangzhushishitongbuyuanchengbuhuohetoudi.html
4、使用阿里的开源工具otter,这个方案经过验证是可行的。阿里数据同步工具Otter和Canal简介请参考:https://www.dbaup.com/alishujutongbugongjuotterhecanaljianjie.html
- otter用于跨云RDS之间配置双主实时同步参考:https://www.dbaup.com/otteryongyukuayunrdszhijianpeizhishuangzhushishitongbu.html
otter和ogg优缺点
1、otter不能同步无主键的表(会导致同步任务停止),而ogg可以
2、otter可以单向同步ddl语句,而ogg对于MySQL 5.7不可以(5.7需要安装插件),ogg对MySQL 8.0支持DDL同步
3、otter有图形界面操作,OGG只有命令行操作,但是ogg的微服务也可以全程图形化
搭建otter环境配置双向同步
本次环境架构图如下:
准备环境
购买2台RDS for MySQL环境
这里,我做测试直接买了2台华为云的rds,大家把rds-3388-0001当做华为云rds,另一台当做天翼云rds吧:
购买1台ECS环境作为otter环境
这里,我做测试直接买了1台华为云的ecs:
开放端口:8088,web页面使用
开放端口:2088,2089,2090,这几个端口对rds开放,同时2个rds的3306需要对这台ecs开放。
下面开始配置:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | -- 拉取docker环境的otter docker pull registry.cn-hangzhou.aliyuncs.com/lhrbest/lhrotter:v2.0 -- 创建otter docker run -d --name lhrotter -h lhrotter \ -v /sys/fs/cgroup:/sys/fs/cgroup \ -p 8088:8088 -p 2088-2090:2088-2090 \ --privileged=true \ registry.cn-hangzhou.aliyuncs.com/lhrbest/lhrotter:v2.0 init -- 进入otter环境 docker exec -it lhrotter bash -- 修改/usr/local/otter_manager/conf/otter.properties otter.domainName = 139.9.130.227 -- 启动otter环境 sh /etc/rc.local |
启动成功后浏览器访问 http://139.9.130.227:8088/login.htm,出现otter的页面,用户名和密码都是admin。
配置otter
修改Node
选择机器管理的node管理:
由于ECS和2台rds通信只能使用外网IP,所以,这里启用外部IP, 如上图。
启动node
启动命令:
1 | /usr/local/otter_node/bin/startup.sh |
管理界面显示节点状态已经启动:
添加数据源
添加2个rds的数据源: 填写正确的数据库连接信息。
这里填写的mysql用户不一定要用root,只要有操作需同步数据的库表的相关权限即可。
添加需要同步的数据表
注意:如果同步整个数据库的表,则将schema name和table name都设置成“.*”,不建议对整个库同步,因为有系统库不建议同步。
配置双向同步
双向同步可以理解为两个单向同步的组合,但需要额外处理避免回环同步. 回环同步算法: Otter双向回环控制 .
同时,因为双向回环控制算法会依赖一些系统表,需要在需要做双向同步的数据库上初始化所需的系统表,也可以直接从界面获取(可以点击使用文档-》数据库初始化页面),获取初始sql:
1 | wget https://raw.github.com/alibaba/otter/master/node/deployer/src/main/resources/sql/otter-system-ddl-mysql.sql |
界面获取:
配置上相比于单向同步有一些不同,操作步骤:
- 首先配置一个channel
- 然后添加两个pipeline
注意:两个单向的canal和映射配置,在一个channel下配置为两个pipeline。如果是两个channel,每个channel一个pipeline,将不会使用双向回环控制算法,也就是会有重复回环同步. - 每个pipeline各自配置canal,定义映射关系
双向需要注意:
一个channel 添加两个 pipeline ,
两个为双向同步,如果要用DDL同步,一个pipeline开启ddl同步,另一个不要开启,且建议开启跳过ddl异常,DryRun模式 不要开启
同时在配置双向同步的时候,建议执行otter-system-ddl-mysql.sql增加同步控制库,若是单向同步,则不需要运行该脚本。
双向同步建议在需要同步的两个数据库中新建retl数据库。
请教一下,在启动后,点击登录会报错,请问博主有遇到类似的情况吗?是否缺失包:
HTTP ERROR 500
Problem accessing /login.htm. Reason:
Caused by:
com.alibaba.citrus.service.pipeline.PipelineException: Failed to execute action module
这个没碰到过