一次Hbase删库的故障恢复

  • 时间:
  • 浏览:0
  • 来源:幸运飞艇APP下载_幸运飞艇APP官网

可是我 删除操作有三种的journal日志没办法用于恢复,journal中需用有删除操作时候的inode信息不都里能进行恢复。

版权声明:自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)

简单说,ext4中文件和目录富含 元数据和实际数据几条多多次要,实际数据存储了文件的实际内容,元数据存储了文件的创建修改删除时间以及实际数据的地址。文件和目录的元数据由几条多多inode行态表示。所有的inode存储在inode数组中,根据序号访问。

ext4magic恢复包括几条多多步骤,其中前3步根据journal文件日志中的有效inode信息进行数据恢复,当没办法完成恢复时,第4步进行全盘扫描,根据文件的具体格式(行态码)进行恢复,支持包括以下类型文件。没办法支持记录跨块的清况 。

可能性删除操作涉及了少许的文件,原困Ext4中的Journal日志被覆盖,无法恢复出所有的文件元信息。可是我 恢复的技术路线是直接在ext4层面读取数据块,根据hbase格式直接解析内容(行态码扫描土方式)。下面梳理与描述了Ext4 文件恢复的大致原理,供各位同学参考。debugfs与ext4magic具体的操作流程,等有空再分派。

误删库(删文件) 是生产运维中最严重的故障。Hadoop大数据环境下,数据的备份与恢复都面临比传统数据库更加严峻的挑战。

文件恢复, Hbase, Ext4, ext4magic, extundelete , 删库

作者参加的一次Hbase删库故障恢复中,可能性所用Hbase版本旧,未支持snapshot的备份机制,未做任何备份。在删库误操作发出5分钟后,操作人员取回 了命令,并停止了內部业务对Hbase的访问。根据日志,删除命令已发送到datanode节点,hadoop文件目录下,只几条多多多数据文件(128M),故障前有效数据在几条T。可能性地处故障后,放慢停止了对故障机器的访问,操作系统应该可是我 标记了文件的删除,实际数据应该在操作系统内核层面可见。

在根目录中创建文件1.txt,写入内容,删除该文件,几条多多操作分别对应几条多多事务。每个事务中会记录操作涉及的元数据所在的数据块(数据块为操作后的新值,而都是 操作前的值,为REDO日志而都是 UNDO日志)。

journal日志文件大小固定,在128M大小清况 下,有32768个文件块,在日志写满后,会重复循环使用文件。可能性在journal日志中,无法找到有效的文件inode信息,则该文件无法恢复。

下图为删除1.txt后,目录与文件的逻辑和物理行态。/目录的内容中标记了1.txt可能性删除,ls操作不不显示可能性被标记为删除的文件。12号innode中的地址信息被清除。可是我 文件删除后,确实还不都里能找到删除文件的名字,可是我 无法选泽其数据块位置,从而无法恢复数据。

赵成

下图描述了目录和文件存储的物理行态图。

下图描述了目录与文件的逻辑关系图。分区根目录inode序号默认为2,2号inode中记录了目录数据块的位置8481。8481数据块中存储了该目录下文件的inode序号和文件名,1.txt的inode序号为12。12号inode指向的数据块为340025,340025中存储了2.txt实际内容abc。(add表示地址,块号)

ext3和ext4文件系统,使用日志机制实现了写文件的原子性和故障恢复。

journal日志文件中,有T1,T2,T3几条多多事务日志,T3和T1日志中的第12号inode不富含 add信息,T2事务中的第12号inode富含 add信息,可用于恢复数据。

下图为几条多多操作的事务日志复杂化描述(实际清况 下删除几条多多文件占用6个左右的数据块),与时候的数据块描述对应。每个框均表示为几条多多单独的4K Block。除事务的现在开始英语 英语 和现在开始英语 英语 块,很多均为操作修改的数据块的REDO值。

在分区根目录下创建文本文件1.txt,写入文件内容abc。

文件1.txt删除后,其数据所在8481磁盘块的内容还在,可是我 inode表到该磁盘块的链接被清除,无法用于恢复操作。

执行 rm -f 1.txt

2018-05-02

该土方式,与直接扫描磁盘进行hbase记录解析原理相同。