一次RAID阵列修复的笔记(1)

2月1日,接到一个客户的NAS设备保修,客户的设备配置如下:

设备配置:

机箱:国鑫36盘位,前24盘背板,后12盘背板,8643接口,expand

RAID卡:lsi9361-8i一片

硬盘:8T日立企业SATA盘24+7

阵列:前面24盘做raid5+热备,后7盘做raid5

NAS软件:飞鱼星

整个体过程按照时间来进行记录。

2月1日

上午用户发现24盘的盘阵不能使用,登录NAS后台看到有两块硬盘异常,显示为错误,热备盘没有正常生效。

用户发现阵列失效后,对提示错误的两块硬盘中的其中一块,在开机状态下进行了拔出并插入的操作,结果这块硬盘的状态从错误变成了外部。之后便在项目群里报修。

飞鱼星工程师根据日志分析得出如下结论:

1、阵列因为连续两个盘有问题导致失效了,而两个盘出故障的间隔太短,导致全局热备盘来不及起作用。

2、又因为对其中一个盘进行了热插拔,导致一块硬盘变成外部状态。

工程师认为:“要恢复阵列不太好恢复了, 只能尝试把两个有问题的盘数据备份一下,然后用备份的磁盘插入,看看能否导入阵列。”

下午给客户闪送两块8T硬盘,客户拿到硬盘对其中一块盘开始做拷贝操作,在飞鱼星工程师见一下使用ghost软件,结果用户操作失误,导致拷盘失败,数据丢失。

2月2日

安排赵宇和晓东去现场支持,在现场用烤盘机选择扇区复制的模式复制硬盘,复制的速度是220MB/S左右,12GB/Min,720GB/H,全盘容量7.3TB,共10.38小时。

出于已经有一块硬盘数据丢失,RAID5就已经不允许再有坏盘,飞鱼星工程师建议把所有数据盘进行一次扇区级备份。做一次备份除去操作做失误丢掉数据的硬盘,需要23块8T的企业级SATA硬盘进行扇区备份。当天确定库存硬盘数量,决定将24块硬盘带回公司进行备份,所有后续操作等将原数据盘备份成功后进行。

当晚制定的方案为:

1、对所有23块数据盘进行扇区级备份

2、使用备份好的新硬盘+原RAID卡进行上线试验

3、使用21块正常的数据硬盘+1块提示错误但已经拷贝为新盘的数据盘(排除硬盘故障的可能)进行强制上线

4、不装热备盘,以免自动加入阵列

5、不装新盘做Rebuild,避免Rebuild过程中出现问题导致风险增加

6、强制上线后如果可以看到阵列,但阵列处于危级,启用NAS系统拷贝关键数据

7、加入新硬盘,进行Rebuild,成功后对原始硬盘进行相同操作

8、若不能成功,考虑委托第三方进行数据恢复


2月3日

选择磁盘备份工具

先测试了ghost,发现ghost中的to Disk不能做扇区级的备份,备份出来的磁盘带有文件系统,to Image因为image需要作为ghost文件存放,需要文件系统,所以目标磁盘不可选。后又对WinHex进行测试,顺利的完成了对拷。

测试对拷后的磁盘是否可是进行计划中的操作,用3块240G SSD +LSI 9361-8I进行方案测试,过程如下:

1、 将3块SSD做RAID5,将RAID阵列挂在Window10下面,拷入多个视频文件

2、 对3块SSD分别用WinHex进行扇区级备份

3、 将备份的3块SSD接入RAID卡中,RAID5自动识别,阵列正常

4、 将阵列挂在win10下面,之前拷入的所有视频文件都可以正常播放

5、 将阵列中的1块硬盘剔除,访问降级后的阵列,视频可以正常播放

结论:通过WinHex拷贝的硬盘同原盘数据完全相同,可以依照计划替换硬盘进行试验。

在准备烤盘的时候面临一个问题,在一个软件进程中只能对拷一块硬盘,这样就需要搭建23个服务器平台进行硬盘拷贝,工程浩大。最后发现WinHex可以同时打开多个进程,同时对多块硬盘进行拷贝,这样使用10个SATA接口的主板可以拷贝4套硬盘,一共搭6套平台就可完成拷贝。

硬盘拷贝速度大约是12-13GB/min,230MB/s,828GB/h,全盘拷贝需要10-11小时。当天晚上搭好平台开始拷盘。搭建平台的过程中发现电源的15Pin硬盘供电口只有6个,实际需要9个,手里没有大4pin转15pin的线,所以只能自己动手丰衣足食,找到了合适的头,给每台电源焊了三个15PIN的供电口。

终于跑起来了,可是在拷盘过程中,因为打开了几个进程想查看情况,结果有3个进程突然自动关闭,猜测是因为同时打开多个进程,而且拷贝过程中磁盘读写比较敏感,所以在查看拷贝状态时就导致进程意外结束。

将几个进程重新启动后已经是晚上十一点多,其他的就没啥可做的了,只能祈祷第二天早上能有佳音。


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容