Wal日志解析工具开源: Walminer__Walminer工具是一款wal日志的解析工具，它可以从wal日志中解析出用户执行的DML语句，以及用户执行DDL语句对系统表产生的DML语句。它的前身是xlogminer，但是xlogminer有较大的限制，比如wal日志级别需要是logical、需要将表改为FULL模式。Walminer则不需要这些限制，它可以解析普通的archive或replica级别以上的wal日志。_

PG中文社区 /

mdi-home

首页

社区新闻

中文文档

加入ACE

mdi-home

首页

mdi-chat-processing

社区新闻

mdi-book-open-variant

中文文档

mdi-account-multiple-check

加入ACE

mdi-file-multiple-outline

相关资料

mdi-blank

mdi-exit-to-app

退出账号

Wal日志解析工具开源: Walminer

原作者：李传成　　创作时间：2019-04-01 17:14:00+08　　

redraiment 发布于2019-04-01 17:14:00　　

评论: 3　　

顶: 683　

踩: 655　

## 作者简介

李传成: 瀚高软件内核研发工程师，主要研究方向为数据库的备份和恢复，对wal日志的原理和应用有较深的理解。自研了wal日志解析工具walminer、pg块恢复工具pg_lightool。

## 一、背景

Postgres的wal日志记录了数据库重要数据文件的所有变化，所以通过wal日志我们可以知道数据库数据发生改变的情况。但是目前并没有一款完善的wal日志解析工具，即使wal日志在那里我们也没有简便的方法来读出wal的内容(pg_waldump是wal的解析工具，但是它只会告诉你向哪个表发生了insert，但是没有insert的具体数据)。

Walminer工具是一款wal日志的解析工具，它可以从wal日志中解析出用户执行的DML语句，以及用户执行DDL语句对系统表产生的DML语句。它的前身是xlogminer，但是xlogminer有较大的限制，比如wal日志级别需要是logical、需要将表改为FULL模式。Walminer则不需要这些限制，它可以解析普通的archive或replica级别以上的wal日志。目前这个工具的代码开源地址为：https://gitee.com/movead/XLogMiner

## 二、Walminer解析原理

### INSERT语句解析原理

![](/images/news/2019/20190401_1706_1.png =600x268)

我们从wal日志的一条insert类型的record中可以获取到relfilenode，结合数据字典就可以得到这个insert目标表的“表名”、“字段类型”、“字段名”。insert的实际数据在record中以“变更数据的方式”或者“FPW”的形式存在。获取这些数据后，结合表的字段类型，就可以拼接出这条insert语句。

### DELETE语句解析原理

![](/images/news/2019/20190401_1706_2.png =600x275)

delete语句的解析中，获取目标表的表结构的过程是跟insert解析是一致的，但是在delete语句产生的record中一般是不存在delete的具体数据的（FPW除外），那如何才能获取这些数据呢？

我们知道在一个检查点后，第一次修改page时会进行PFW，因此虽然这个record中不存在我们想要的数据，但是在这个record之前的某个record中一定有这个page的FPW。因此我们可以在读到一个FPW后记录下这个FPW的数据，以供以后的解析使用。注意：每次提供的wal日志可能是有限的，因此每次解析很可能会存在一些无法找到其FPW的record，因此会有无法解析出的行。

好了，现在我们获取到了这行delete的具体数据，那么就可以拼接这条delete语句了。

### UPDATE语句解析原理

Update语句的解析原理就是一个delete一个insert。将旧的数据行delete，insert新的数据航，这里就不再赘述了。

## 三、Walminer的使用

Walminer可以在生产库（待解析wal日志的生成库）执行，也可以将wal日志和数据字典放到任意一个跟生产库配置相同的测试库解析。Walminer的具体使用情况在开源代码的readme中有详细的介绍，这里只介绍一下在测试库使用的情况。

### 编译安装

代码下载地址：https://gitee.com/movead/XLogMiner

将下载的代码中的walminer目录放置到数据库代码的contrib目录下，执行`make;make install;`

### 于生产数据库

1. 创建walminer的extension

create extension walminer;

2. 生成数据字典

select walminer_build_dictionary('/opt/proc/store_dictionary');
        -- 注：参数可以为目录或者文件

### 于测试数据库

1. 创建walminer的extension

create extension walminer;

2. load数据字典

select walminer_load_dictionary('/opt/test/store_dictionary');
        -- 注：参数可以为目录或者文件

3. add wal日志文件

-- 增加wal文件：
        select walminer_wal_add('/opt/test/wal');
        -- 注：参数可以为目录或者文件

4. remove wal日志文件

-- 移除wal文件：
        select walminer_wal_remove('/opt/test/wal');
        -- 注：参数可以为目录或者文件

5. list wal日志文件

-- 列出wal文件：
        select walminer_wal_list();
        -- 注：参数可以为目录或者文件

6. 执行解析

select walminer_start('START_TIMSTAMP','STOP_TIMESTAMP','START_XID','STOP_XID')
        --在本文第二部分中提到，因为一个record的解析可能会依赖历史record，当它依赖的历史record没有出现在提供的wal日志中时，这个record就不能被解析出来了。如下图所示，我们加载了从000000030000075100000050开始的很多wal日志。000000030000075100000050到00000003000007510000005A的wal日志可能会因为它依赖的wal日志不足而无法完全解析（表现为一些DML记录没有具体数据），在提示时间或LSN(2019-03-21 13:57:46+08 or 751/5a711300)之后的数据会完全解析。

![](/images/news/2019/20190401_1706_3.png =600x255)

7. 解析结果查看

select * from walminer_contents;

8. 结束walminer操作,该函数作用为释放内存，结束日志分析，该函数没有参数。

select walminer_stop();

## 四、后记

阅读了《[PostgreSQL误删数据怎么破？](http://postgres.cn/v2/news/viewone/1/415)》一文后略有所感：在发生vacuum之后或者发生误操作后又向表中插入了新的有效数据后，文中描述的恢复方法就不奏效了。

而使用walminer工具可以解析出误操作的语句，并且给出相应的undo语句。SQL都已经在这里了，数据恢复也就不是问题了。

Walminer工具目前已处于稳定状态，如果大家有任何使用问题或者bug欢迎通过邮件联系我（lchch1990@sina.cn）。

![CENTER_PostgreSQL_Community](/images/news/2016/pg_bot_banner.jpg)

评论:3　　

顶: 683　

踩: 655　

请在登录后发表评论，否则无法保存。

1# __ xiaowu 回答于 2024-04-23 14:50:10+08

从头再来的霸气的句子:https://www.nanss.com/yulu/5806.html 终身不舍得换的网名:https://www.nanss.com/mingcheng/5887.html 容易造句子二年级简单:https://www.nanss.com/xuexi/5723.html 记录美好时光发朋友圈:https://www.nanss.com/wenan/6005.html 归来仍是少年的上一句:https://www.nanss.com/xuexi/5539.html 离职大气简短感言:https://www.nanss.com/gongzuo/5699.html 幸福网名:https://www.nanss.com/mingcheng/4907.html 2字cp名字超甜:https://www.nanss.com/mingcheng/5613.html 暗恋一个人的id:https://www.nanss.com/mingcheng/5678.html 游戏cp网名情侣专用:https://www.nanss.com/mingcheng/5069.html 仿写金色花:https://www.nanss.com/xuexi/5284.html 关于团队凝聚力的激励性的句子:https://www.nanss.com/gongzuo/5926.html 七夕送男友什么礼物最有意义:https://www.nanss.com/wenti/4813.html 语无伦次造句:https://www.nanss.com/xuexi/4688.html 越没本事的男人脾气越大的说说:https://www.nanss.com/wenan/5680.html 六个字比较丧的名字:https://www.nanss.com/mingcheng/5865.html 三姐妹在一起的经典说说:https://www.nanss.com/wenan/5568.html 有爱的网名:https://www.nanss.com/mingcheng/5524.html 向日葵花语:https://www.nanss.com/shenghuo/5536.html 痛经时的委婉心情说说:https://www.nanss.com/wenan/5743.html 岁月流逝的唯美句子:https://www.nanss.com/yulu/5922.html 经费使用情况:https://www.nanss.com/gongzuo/5259.html 霸气高冷到爆的句子:https://www.nanss.com/yulu/5974.html 洛神赋中最唯美的名字:https://www.nanss.com/shenghuo/4653.html 互利共赢的名言名句:https://www.nanss.com/xuexi/5841.html 晒老公和孩子的句子:https://www.nanss.com/yulu/5656.html 此中有新意作文:https://www.nanss.com/xuexi/5289.html 交朋友的好处:https://www.nanss.com/yuedu/4236.html 五一劳动节的优美句子:https://www.nanss.com/yulu/5386.html 迎接新生儿唯美的句子朋友圈:https://www.nanss.com/wenan/5812.html

2# __ movead 回答于 2019-06-01 10:20:50+08

数据字典和wal文件不匹配，也就是说你的wal文件不是当期数据库产生的。

3# __ xiahou 回答于 2019-05-27 21:51:55+08

postgres=# select walminer_wal_add('/imsdata/postgres/wal/000000010000000000000001'); NOTICE: Get data dictionary from current database. NOTICE: Wal file "/imsdata/postgres/wal/000000010000000000000001" is not match with datadictionary. walminer_wal_add -------------------- 0 file add success (1 row) 不知道是什么原因