TiDB 利用binlog 恢复-反解析binlog

我们知道TiDB的binlog记录了所有已经执行成功的dml语句，类似mysql binlog row模式

，TiDB官方也提供了reparo可以进行解析binlog，如下所示:

[2024/04/26 20:58:02.136 +08:00] [INFO] [config.go:153] ["Parsed start TSO"] [ts=449217508147200000]
[2024/04/26 20:58:02.136 +08:00] [INFO] [config.go:160] ["Parsed stop TSO"] [ts=449222855884800000]
schema: coupon_trade; table: coupon_trade_record; type: Insert
coupon_id(varchar): 1
merchant_id(varchar): 2
coupon_code(varchar): 4
customer_id(varchar): 4
customer_mobile_no(varchar): 5
trade_channel(varchar): 03
trade_store_id(varchar): 1440040
trade_store_name(varchar): <nil>
bill_type(tinyint): 0
bill_code(varchar): 6
external_order_id(varchar): <nil>
receive_channel_code(varchar): 105
coupon_card_type(tinyint): 0
coupon_type(tinyint): 1
receive_type(smallint): 6
receive_src_code(varchar): <nil>
process_type(tinyint): 2
order_food_type(varchar): 1
order_mode(varchar): 0
is_give_away(tinyint): 0
is_available(tinyint): 1
is_deleted(bigint): 0
updated_date(datetime): 2024-04-21 00:00:00
created_date(datetime): 2024-04-21 00:00:00
updated_user(varchar): default
created_user(varchar): default
version(int): 1
schema: coupon_trade; table: coupon_trade_record; type: Insert
coupon_id(varchar): 2
merchant_id(varchar): <nil>
coupon_code(varchar): 5
customer_id(varchar): 6
customer_mobile_no(varchar): 7
trade_channel(varchar): 03
trade_store_id(varchar): 1420452
trade_store_name(varchar): <nil>
bill_type(tinyint): 0
bill_code(varchar): 8
external_order_id(varchar): <nil>
receive_channel_code(varchar): 03
coupon_card_type(tinyint): 0
coupon_type(tinyint): 0
receive_type(smallint): 4
receive_src_code(varchar): <nil>
process_type(tinyint): 2
order_food_type(varchar): 1
order_mode(varchar): 0
is_give_away(tinyint): 0
is_available(tinyint): 1
is_deleted(bigint): 0
updated_date(datetime): 2024-04-21 00:00:00
created_date(datetime): 2024-04-21 00:00:00
updated_user(varchar): default
created_user(varchar): default
version(int): 1

另外reparo 支持print 和mysql 两种模式，print只做解析打印到标准输出，不执行 SQL，mysql:是直接再下游数据库执行SQL

但是我们有的时候需要进去反解析，比如我们误删除了一些数据，我们要把误删除的数据解析成INSERT语句，这怎么办呢，TIDB目前不提供这种反解析工具，于是自己写了一个工具进行解析，代码如下:

package main

import (
	"bufio"
	"encoding/json"
	"flag"
	"fmt"
	"log"
	"os"
	"regexp"
	"strings"
	"time"
)

var (
	binlogFile string
	schema     string
	table      string
	sqlType    string
	whereSql   string
	logPath    string
	filedRe    = regexp.MustCompile(`\(.*?\)+:.*`)
	logOutFile *log.Logger
)

type filed struct {
	Name  string `json:"name"`
	Value string `json:"value"`
}
type Parser struct {
	lines []filed
}

//	type lists struct {
//		filed []filed
//	}
func compressStr(str string) string {
	str = strings.ReplaceAll(str, " ", "")
	r := strings.NewReplacer("\r", "", "\n", "")
	str = r.Replace(str)

	//匹配一个或多个空白符的正则表达式
	reg := regexp.MustCompile("\\s+")
	return reg.ReplaceAllString(str, "")
}

func main() {
	flag.StringVar(&binlogFile, "binlogFile", "", "binlog日志文件路径")
	flag.StringVar(&schema, "schema", "", "要解析的数据库名称")
	flag.StringVar(&table, "table", "", "要解析的表名称")
	flag.StringVar(&sqlType, "sqlType", "", "要解析的dml类型")
	flag.StringVar(&logPath, "logPath", "", "输出文件路径名称")
	flag.Parse()
	if binlogFile == "" {
		log.Println("请输入binlog日志文件路径...")
		return
	}
	if schema == "" {
		log.Println("请输入要解析的数据库名称...")
		return
	}
	if table == "" {
		log.Println("请输入要解析的表名称...")
		return
	}
	if sqlType == "" {
		log.Println("请输入要解析的dml类型...")
		return
	}
	if logPath == "" {
		log.Println("请输入输出日志文件路径...")
		return
	}
	outSlowLogFile(logPath)
	file, err := os.Open(binlogFile)
	if err != nil {
		log.Println("读取文件失败...")
		return
	}
	schemaRe := fmt.Sprintf("schema:%v;table:%v;type:%v", schema, table, sqlType)
	//schemaRe2 := fmt.Sprintf("schema:%v;table:%v;type:%v", schema, table, "Insert")
	defer file.Close()
	scanner := bufio.NewScanner(file)
	scanner.Buffer(make([]byte, 1024*1024), 1024*1024*10)
	inHeader := false
	var f filed
	var array []string
	var time2, _ = time.Parse("2006-01-02 15:04:05", "2024-04-01 00:00:00")
	fields := ""
	for scanner.Scan() {
		line := scanner.Text()
		if compressStr(line) == compressStr(schemaRe) {
			if fields != "" {
				fields = fmt.Sprintf("{%v}", fields)
				array = append(array, fields)
			}
			fields = ""

			inHeader = true
			continue
		} else if strings.Contains(line, "sync binlog success") || strings.Contains(line, "read file end") {
			inHeader = false
			continue
		} else {
			if inHeader {
				if filedRe.MatchString(line) {
					f.Name = strings.Split(line, "(")[0]
					tmpValue := strings.Split(line, ": ")
					if len(tmpValue) == 1 {
						inHeader = false
						continue
					} else {
						f.Value = strings.Split(line, ": ")[1]
					}

					if fields == "" {
						fields = fmt.Sprintf("\"%s\":\"%s\" ", f.Name, f.Value)
					} else {
						fields += fmt.Sprintf(",\"%s\":\"%s\"", f.Name, f.Value)
					}

				} else {
					inHeader = false
					continue
				}
			}
		}

	}
	if fields != "" {
		fields = fmt.Sprintf("{%v}", fields)
		array = append(array, fields)
	}
	if err := scanner.Err(); err != nil {
		log.Println(err)
	}
	for i := 0; i < len(array); i++ {
		//decoder := json.NewDecoder(strings.NewReader(array[i]))
		//
		//for key, value := range JsonToMap(array[i]) {
		//	fmt.Printf("键：%v，值：%d\n", key, value)
		//}
		m := make(map[string]string)

		err = json.Unmarshal([]byte(array[i]), &m)
		if err != nil {
			fmt.Printf("Unmarshal with error: %+v", err)
		}
		keys := ""
		values := ""
		isExec := false
		//newKeys := make([]string, 0, len(m))
		//for k := range m {
		//	newKeys = append(newKeys, k)
		//}
		 对切片进行排序
		//sort.Strings(newKeys)
		for key, value := range m {
			if keys == "" {
				keys = fmt.Sprintf("%v", key)
				if value == "<nil>" {
					values = fmt.Sprintf("%v", "NULL")
				} else {
					values = fmt.Sprintf("'%v'", value)
				}
			} else {
				keys += fmt.Sprintf(",%v", key)
				if value == "<nil>" {
					values += fmt.Sprintf(",%v", "NULL")
				} else {
					values += fmt.Sprintf(",'%v'", value)
				}
			}

			if key == "updated_date" {
				isExec = true
				updateTime, _ := time.Parse("2006-01-02 15:04:05", value)
				if updateTime.After(time2) {
					isExec = true
				} else {
					isExec = false
				}
			}
		}
		if isExec {
			inSql := fmt.Sprintf("insert into coupon_trade_record(%v) values(%v);", keys, values)
			logOutFile.Println(inSql)
		}

	}
}

func outSlowLogFile(outFile string) {
	outFilePath, err := os.OpenFile(outFile, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766)
	if err != nil {
		log.Println(fmt.Sprintf("创建输出文件失败:%s", err))
		return
	}
	logOutFile = log.New(outFilePath, "", log.Lmsgprefix)
}

通过代码可以将DELETE sql直接转成insert 语句：

 至此完成将数据重新插入到业务库里面，即可完成恢复

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/583861.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Linux网络抓包工具tcpdump是如何实现抓包的，在哪个位置抓包的？

Linux网络抓包工具tcpdump是如何实现抓包的，在哪个位置抓包的？

Linux网络抓包工具tcpdump是如何实现抓包的&#xff0c;在哪个位置抓包的&#xff1f; 1. tcpdump抓包架构2. BPF介绍3. 从内核层面看tcpdump抓包流程3.1. 创建socket套接字3.2. 挂载BPF程序 4. 网络收包抓取5. 网络发包抓取6. 疑问和思考6.1 tcpdump抓包跟网卡、内核之间的顺序…
阅读更多...
golang beego结合wire依赖注入及自动路由

golang beego结合wire依赖注入及自动路由

1 安装wire 1.1 通过命令直接安装 go install github.com/google/wire/cmd/wirelatest 1.2 通过go get方式安装 go get github.com/google/wire/cmd/wire进入目录编译 cd C:\Users\leell\go\pkg\mod\github.com\google\wirev0.6.0\cmd\wire go build 然后将wire.exe移动到…
阅读更多...
C++中list的使用

C++中list的使用

文章目录 一、 list简介二、 构造函数1. 默认构造函数2. 拷贝构造3. 迭代器区间初始化4. 插入n个值为x的数据5. 代码示例 三、 容量和元素访问1. empty()2. size()3. max_size()3. back()4. front()5. 代码示例 四、 增删查改1. push_back()2. push_front()3. emplace_back()4.…
阅读更多...
设计模式之装饰者模式DecoratorPattern（四）

设计模式之装饰者模式DecoratorPattern（四）

一、模板模式介绍 模板方法模式&#xff08;Template Method Pattern&#xff09;&#xff0c;又叫模板模式&#xff08;Template Pattern&#xff09;&#xff0c; 在一个抽象类公开定义了执行它的方法的模板。它的子类可以更需要重写方法实现&#xff0c;但可以成为典型类中…
阅读更多...
d16(149-153)-勇敢开始Java，咖啡拯救人生

d16(149-153)-勇敢开始Java，咖啡拯救人生

跳过了p151 四小时的讲题我不敢听&#xff1a;) Stream Stream流&#xff0c;是JDK8后新增的API&#xff0c;可以用于操作集合或者数组的数据 优势&#xff1a;大量结合了Lambda的语法风格&#xff0c;该方式更强大更简单&#xff0c;代码简洁&#xff0c;可读性好 常用方法 …
阅读更多...
Mycat（三）读写分离双主双从

Mycat（三）读写分离双主双从

文章目录 搭建双主双从双主机配置双从机配置双从配置两个主机互相复制停止从服务复制功能重新配置主从 修改 Mycat 的集群配置实现多种主从双主双从集群角色划分增加两个数据源修改集群配置文件读写分离配置扩展&#xff08;1&#xff09;读写分离(一主一从,无备)(m是主,s是从)…
阅读更多...
Grafana页面嵌入自建Web应用页面

Grafana页面嵌入自建Web应用页面

目录 一、应用场景 二、实现方式 1、修改Grafana配置文件 2、获取监控页面url 3、隐藏左侧和顶部菜单 一、应用场景 需要将Grafana监控页面嵌入自建Web应用页面&#xff0c;使Grafana监控页面成为自建Web应用的一部分。 二、实现方式 总体思路&#xff1a;修改Grafana配…
阅读更多...
刷机维修进阶教程-----红米note7 修复基带 更改参数 nv损坏故障 实例步骤操作解析

刷机维修进阶教程-----红米note7 修复基带 更改参数 nv损坏故障 实例步骤操作解析

在前面的博文中我有说过。不管刷更改参数还是修复基带，尽可能的情况下备份一些主要分区，上期讲了小米6x 小米5 小米6这些机型更改参数的具体步骤。今天的教程以红米note7为例解析下改参数和修复nv损坏的具体步骤，两者操作实际没有什么冲突。有兴趣的友友建议多看下我关于…
阅读更多...
10G MAC层设计系列-（2）MAC RX模块

10G MAC层设计系列-（2）MAC RX模块

一、概述 MAC RX模块的需要进行解码、对齐、CRC校验。 因为在空闲的时候10G PCS/PMA会一直向外吐空闲符&#xff08;x07&#xff09;所以需要根据开始符、结束符将有效数据从码流中截取&#xff0c;也就是解码。 因为开始字符的所在位置有两种形式&#xff0c;而结束字符的位…
阅读更多...
大数据学习笔记14-Hive基础2

大数据学习笔记14-Hive基础2

一、数据字段类型 数据类型 &#xff1a;LanguageManual Types - Apache Hive - Apache Software Foundation 基本数据类型 数值相关类型 整数 tinyint smallint int bigint 小数 float double decimal 精度最高 日期类型 date 日期 timestamps 日期时间 字符串类型 s…
阅读更多...
UE C++ 链表

UE C++ 链表

目录 概要单链表双向链表头插入尾插入中间插入删除查找 小结 概要 链表 简单说明&#xff0c;链表有单链表&#xff0c;双向链表&#xff0c;循环链表(本篇文章以UE c代码说明)。链表的操作&#xff0c;插入&#xff0c;删除&#xff0c;查找。插入&#xff0c;删除效率高&…
阅读更多...
练习题（2024/4/29）

练习题（2024/4/29）

在深度优先遍历中&#xff1a;有三个顺序&#xff0c;前中后序遍历 这里前中后&#xff0c;其实指的就是中间节点的遍历顺序&#xff0c;只要记住 前中后序指的就是中间节点的位置就可以了。 如图 1二叉树的前序遍历 给你二叉树的根节点 root &#xff0c;返回它节点值的 前…
阅读更多...
【项目】仿muduo库One Thread One Loop式主从Reactor模型实现高并发服务器（Http测试板块）

【项目】仿muduo库One Thread One Loop式主从Reactor模型实现高并发服务器（Http测试板块）

【项目】仿muduo库One Thread One Loop式主从Reactor模型实现高并发服务器&#xff08;Http测试板块&#xff09; 一、使用Http网页界面1、main.cc原码和index.html原码2、运行结果&#xff08;1&#xff09;测试结果1&#xff1a;用index.html内部的代码&#xff08;2&#xf…
阅读更多...
《HelloGitHub》第 97 期

《HelloGitHub》第 97 期

兴趣是最好的老师&#xff0c;HelloGitHub 让你对编程感兴趣&#xff01; 简介 HelloGitHub 分享 GitHub 上有趣、入门级的开源项目。 github.com/521xueweihan/HelloGitHub 这里有实战项目、入门教程、黑科技、开源书籍、大厂开源项目等&#xff0c;涵盖多种编程语言 Python、…
阅读更多...
win下vscode的vim切换模式的中英文切换

win下vscode的vim切换模式的中英文切换

问题描述 在vscode中安装vim插件后&#xff0c;如果insert模式下完成输入后&#xff0c;在中文输入方式下按esc会发生无效输入&#xff0c;需要手动切换到英文。 解决方法 下载完成vscode并在其中配置vim插件下载github—im-select.exe插件&#xff08;注意很多博文中的gitcod…
阅读更多...
Microsoft Threat Modeling Tool 使用(二)

Microsoft Threat Modeling Tool 使用(二)

主界面 翻译 详细描述 选择了 “SDL TM Knowledge Base (Core)” 模板并打开了一个新的威胁模型。这个界面主要用于绘制数据流图&#xff08;Data Flow Diagram, DFD&#xff09;&#xff0c;它帮助您可视化系统的组成部分和它们之间的交互。以下是界面中各个部分的功能介绍&a…
阅读更多...
软件设计师-重点的行为型设计模式

软件设计师-重点的行为型设计模式

一、命令模式&#xff08;Command&#xff09;&#xff1a; 意图&#xff1a;&#xff08;上午题&#xff09; 将一个请求封装为一个对象&#xff0c;从而使得可以用不同的请求对客户进行参数化&#xff1b;对请求排队或记录请求日志&#xff0c;以及支持可撤销的操作。 结构…
阅读更多...
Django-基础篇

Django-基础篇

Django是一个开放源代码的Web应用框架&#xff0c;由Python语言编写。它遵循MVC&#xff08;Model-View-Controller&#xff09;的软件设计模式&#xff0c;使开发者能够以高效、可扩展和安全的方式构建Web应用程序。 Django具有以下特点和优势&#xff1a; 强大的功能&#x…
阅读更多...
[技术小技巧] 可视化分析：在jupyter中使用d3可视化树形结构

[技术小技巧] 可视化分析：在jupyter中使用d3可视化树形结构

首先在python中定义一个字符串&#xff0c;记录d3.js绘制属性图的js脚本代码模版。其中{{data}}就是将来要被替换的内容。 d3_code_template """ // 创建树状结构数据 var treeData {{data}};// 创建d3树布局 var margin { top: 20, right: 90, bottom: 30,…
阅读更多...
行业推荐：数据防泄漏软件首先解决方案

行业推荐：数据防泄漏软件首先解决方案

随着信息时代的快速发展&#xff0c;数据安全已成为企业经营的关键之一。然而&#xff0c;数据泄漏事件时有发生&#xff0c;不仅可能导致巨大的经济损失&#xff0c;更会损害企业的声誉和客户信任。 为了帮助企业有效地保护数据安全&#xff0c;Ping32 数据防泄漏系统应运而生…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站