Java代码中,如何监控Mysql的binlog

一、Java代码中,如何监控Mysql的binlog

1、面对监控MySQL binlog的需求，通常我们考虑的是通过主从复制的方式实现数据同步，但是实际业务场景中，存在一些特定的挑战。在这种情况下，需要在Java代码中监控binlog变化并获取数据。为了解决这个问题，我们引入了一个开源工具——mysql-binlog-connector-java。

2、MySQL的binlog是一个二进制日志文件，它记录了数据库表结构变更、表数据修改的信息。除了数据复制功能外，binlog还能用于数据恢复和增量备份。要使用binlog进行数据同步，首先需要确保MySQL服务已经启用了binlog功能。

3、在MySQL配置文件中找到并修改binlog相关的参数，比如`log-bin`、`binlog_format`等，以确保binlog功能启用。更改完成后，重启MySQL服务，通过`SHOW VARIABLES LIKE'log_bin';`命令验证binlog是否已启用。

4、接下来，在Java项目中引入mysql-binlog-connector-java的依赖。使用这个工具，创建BinaryLogClient客户端对象，并初始化时传入MySQL的连接信息。客户端监听器可以实现对binlog的监听和解析，我们主要关注的有四种类型的事件数据：WriteRowsEventData（新增数据）、DeleteRowsEventData（删除数据）、UpdateRowsEventData（修改数据）以及TableMapEventData（表映射关系）。

5、在监听器中，处理关心的事件数据，忽略冗余信息，如表的DML（数据操作语言）和DDL（数据定义语言）语句。连接成功后，执行数据库操作，如插入、更新或删除数据。控制台将打印监听到的事件数据，包括数据库名称、表名称、表ID以及具体的操作内容。

6、通过监听TableMapEventData事件，可以获取操作的数据库名称、表名称以及表ID，以便后续处理。在实际操作中，我们可能只需要关注特定表的事件，因此可以提前设置表名单，通过表ID到表名的映射关系实现数据过滤。

7、针对更新操作，我们对返回的数据进行处理，使用UpdateRowsEventData获取更新的行数据，并通过自定义方法实现数据到列的绑定过程。在这个过程中，维护了一个数据库表字段顺序的字符串，用于标识每个字段在顺序中的位置。通过这个绑定过程，可以将修改后的记录属性填充到对应的列中。

8、在验证过程中，执行更新操作后，控制台将打印更新后的数据，通过格式化字符串和自定义方法，实现了数据到列的正确绑定。根据具体的业务逻辑，可以轻松地从字段名中取出数据，并同步到其他表中。

9、通过使用mysql-binlog-connector-java工具，我们能够高效地监控MySQL binlog变化并获取数据，实现数据同步。这种方法不仅简化了数据同步流程，还提供了灵活的事件处理机制，满足了特定业务场景的需求。

二、当mysqlbinlog版本与mysql不一致时可能导致出哪些问题

首先要确定当前版本是不是mysqlbinlog版本，当不是mysqlbinlog版本时可能会导致出哪些问题，下面通过模拟场景的方法给大家做介绍，希望对大家有所帮助。

mysqlbinlog Ver 3.3 for Linux at x86_64

5.6，要求mysqlbinlog版本为3.4及以上，否则mysqlbinlog解析时会直接报错，之前已经碰到过很多次，但是没有记录具体的报错信

息，貌似和position位置不存在的报错信息差不多，后来改用mysqlbinlog 3.4版本以后方可解析；

场景2：今天帮客户做一个db恢复，备份文件是全库备份，恢复却只能恢复某个db到一个特定的时间点。方法如下：mysql加上-o

database_name参数执行全备份的sql文件，然后用mysqlbinlog的-d

database_name参数解析指定库的binlog文件，期间使用到了mysqlbinlog，mysql

server是5.6，mysqlbinlog版本是3.3，结果mysqlbinlog解析并没有报错，执行报错，查看解析出来的binlog有很多乱

码，起初以为是字符集的问题，但查了半天也没发现问题。后来才尝试用3.4版本的mysqlbinlog解决了这个问题，类似的乱码如下图

总结：当mysql服务器版本是5.6时，一定切记要使用版本>=3.4的mysqlbinlog

三、与mysqlbinlog命令使用相关的2个小问题

1、MySQL数据库提供查看二进制日志 binlog内容的命令是 mysqlbinlog，常用的命令如下：

mysqlbinlog-vv bin.000668| less

mysqlbinlog-vv bin.000668--start-datetime="2023-11-16 14:15:00"--stop-datetime="2023-11-16 14:15:00"| less

但有时会出现错误：mysqlbinlog: Error writing file'/tmp/tmp.wOdzVS'(Errcode: 28- No space left on device)

错误原因：binlog解析后内容过大，导致 mysqlbinlog默认解析后的临时文件存放路径/tmp空间不足。

解决方法：解析前手动指定临时文件存放路径，保证空间足够，注意参数 TMPDIR，不能用小写，如下：export TMPDIR=/opt/mysql3306/tmp

mysqlbinlog-vv bin.000668| less

2、在查看 binlog或者 mysqldump导出 sql文本时，经常看到如下格式的注释语句：

/*!50003 SET@OLD_COMPLETION_TYPE=@@COMPLETION_TYPE*/

/*!80000 SET SESSION information_schema_stats_expiry=0*/

/*!50013 DEFINER=`root`@`localhost` SQL SECURITY DEFINER*/

对后面跟的5位数字好奇吗？binlog为什么需要这串数字？

这5位数字是 MySQL版本指示器，与数据库版本的对应规则为：'/''*''!',后跟主版本号(VERSION_MAJOR)、小版本号(VERSION_MINOR)、Patch号(VERSION_PATCH)。

示例：32302-> 3.23.02，50738-> 5.7.38，80025-> 8.0.25。

例如，第一个注释语句的含义是：当 MySQL数据库版本为 5.0.3或更高版本时，将 SET@OLD_COMPLETION_TYPE=@@COMPLETION_TYPE读取出来参与 SQL语法解析，并最终被执行；当版本低于 5.0.3时，该行语句被当成一个普通的注释。

带/*!version-number SQL*/的可执行注释是为了解决不同 MySQL版本之间的兼容问题。