Software RAID5 Failure Test <AUTHOR>한승수, <tt>Seungsu Han</tt> <htmlurl url="mailto:netkevin_at_hanmail.net" name="netkevin_AT_hanmail.net"> <DATE>v1.1, 2004-12-30 <ABSTRACT>Software RAID5에서 고의로 구성 디스크를 고장내고 복구하는 과정을 담은 문서입니다.</ABSTRACT> <TOC> <SECT>서문 이 문서는 네 개의 SCSI디스크로 구성된 Software RAID5 장치에서 고의로 디스크 장애를 발생시키고 On-line상태에서 HotSwap하는 작업에 대해 설명합니다. Software RAID의 설정 및 사용에 관한 내용은 <htmlurl url="http://wiki.kldp.org/wiki.php/LinuxdocSgml/Software-RAID%5FHOWTO" name="Software RAID HOWTO">를 참고하시기 바랍니다. <SECT1>문서의 원본 이 문서의 원본이나 최신판은 <htmlurl url="http://computer.snut.ac.kr/~netkevin/files/raid/" name="여기">에서 구할 수 있습니다. <SECT1>책임의 한계 본 문서의 내용으로 인해 일어날 수 있는 어떠한 일에 대해서도 저자 및 해당 소프트웨어 개발자는 책임을 지지 않습니다. 본 문서의 내용을 실행하기 전에 귀하의 데이터를 백업하실것을 권장합니다. <SECT>실험에 사용될 RAID시스템 <SECT1>시스템에 인식된 RAID의 모습 <SECT2>dmesg중 RAID관련 부분입니다. <TSCREEN><VERB> md: md driver 0.90.0 MAX_MD_DEVS=256, MD_SB_DISKS=27 md: raidstart(pid 493) used deprecated START_ARRAY ioctl. This will not be supported beyond 2.6 md: autorun ... md: considering sde ... md: adding sde ... md: adding sdd ... md: adding sdc ... md: adding sdb ... md: created md0 md: bind<sdb> md: bind<sdc> md: bind<sdd> md: bind<sde> md: running: <sde><sdd><sdc><sdb> raid5: automatically using best checksumming function: pIII_sse pIII_sse : 2044.000 MB/sec raid5: using function: pIII_sse (2044.000 MB/sec) md: raid5 personality registered as nr 4 raid5: device sdd operational as raid disk 2 raid5: device sdc operational as raid disk 1 raid5: device sdb operational as raid disk 0 raid5: allocated 3161kB for md0 raid5: raid level 5 set md0 active with 3 out of 3 devices, algorithm 2 RAID5 conf printout: --- rd:3 wd:3 fd:0 disk 0, o:1, dev:sdb disk 1, o:1, dev:sdc disk 2, o:1, dev:sdd md: ... autorun DONE. </VERB></TSCREEN> <SECT1>/etc/raidtab 의 구성내용 <BF>RAID 장치의 설정 내용을 담고 있는 /etc/raidtab 파일의 내용입니다.</BF> <BF>/dev/sde가 spare-disk로 설정되어 있기때문에 장애가 발생하면 즉시 문제의 디스크를 대체하게 됩니다.</BF> <TSCREEN><VERB> [root@csdove /]# more /etc/raidtab raiddev /dev/md0 raid-level 5 nr-raid-disks 3 nr-spare-disks 1 parity-algorithm left-symmetric persistent-superblock 1 chunk-size 128 device /dev/sdb raid-disk 0 device /dev/sdc raid-disk 1 device /dev/sdd raid-disk 2 device /dev/sde spare-disk 0 </VERB></TSCREEN> <SECT1>/proc/mdstat의 내용 <BF>정상 작동중인 array의 /proc/mdstat의 내용입니다.</BF> <TSCREEN><VERB> [root@csdove /]# more /proc/mdstat Personalities : [raid5] md0 : active raid5 sde[3] sdd[2] sdc[1] sdb[0] 71687168 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU] unused devices: <none> </VERB></TSCREEN> <SECT>디스크의 장애 발생과 복구 과정 <SECT1>디스크의 장애 발생 <BF>array의 구성 디스크중 하나(sdc)를 갑자기 탈착했습니다.</BF> <BF>잠깐의 시간이 흐른뒤 시스템은 장치의 이상을 감지하고 에러메세지를 출력합니다.</BF> <TSCREEN><VERB> SCSI error : <0 0 4 0> return code = 0x10000 end_request: I/O error, dev sdc, sector 71687168 md: write_disk_sb failed for device sdc SCSI error : <0 0 4 0> return code = 0x10000 md: write_disk_sb failed for device sdc end_request: I/O error, dev sdc, sector 71687168 SCSI error : <0 0 4 0> return code = 0x10000 end_request: I/O error, dev sdc, sector 71687168 md: write_disk_sb failed for device sdc SCSI error : <0 0 4 0> return code = 0x10000 end_request: I/O error, dev sdc, sector 71687168 md: write_disk_sb failed for device sdc SCSI error : <0 0 4 0> return code = 0x10000 end_request: I/O error, dev sdc, sector 71687168 md: write_disk_sb failed for device sdc </VERB></TSCREEN> <SECT1>장애의 감지와 복구 <BF>RAID에서도 이상을 감지합니다.</BF> <TSCREEN><VERB> RAID5 conf printout: --- rd:3 wd:2 fd:1 disk 0, o:1, dev:sdb disk 1, o:0, dev:sdc disk 2, o:1, dev:sdd RAID5 conf printout: --- rd:3 wd:2 fd:1 disk 0, o:1, dev:sdb disk 2, o:1, dev:sdd </VERB></TSCREEN> <BF>예비 디스크로 설정해 두었던 sde가 자동으로 sdb를 대체한뒤 reconstruction을 시작합니다.</BF> <BF>RAID5에서는 당연한 이야기지만 디스크 장애를 감지하고 자동 복구가 수행되는 동안에도 array의 데이터는 아무런 이상없이 액세스가 가능합니다.</BF> <TSCREEN><VERB> RAID5 conf printout: --- rd:3 wd:2 fd:1 disk 0, o:1, dev:sdb disk 1, o:1, dev:sde disk 2, o:1, dev:sdd md: syncing RAID array md0 md: minimum _guaranteed_ reconstruction speed: 1000 KB/sec/disc. md: using maximum available idle IO bandwith (but not more than 200000 KB/sec) for reconstruction. md: using 128k window, over a total of 35843584 blocks. </VERB></TSCREEN> <SECT1>장애 디스크의 제거 <BF>raidhotremove 명령으로 고장난 장치를 array에서 제거합니다.</BF> <BF>이 작업은 복구가 수행되는 중에도 할 수 있습니다.</BF> <TSCREEN><VERB> [root@csdove ~]# raidhotremove /dev/md0 /dev/sdc md: trying to remove unknown-block(8,32) from md0 ... md: unbind<sdc> md: export_rdev(sdc) </VERB></TSCREEN> <BF>위 명령 수행후의 /proc/mdstat 의 내용입니다.</BF> <TSCREEN><VERB> [root@csdove ~]# more /proc/mdstat Personalities : [raid5] md0 : active raid5 sde[1] sdd[2] sdb[0] 71687168 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU] unused devices: <none> </VERB></TSCREEN> <SECT1>새 디스크의 장착 <BF>고장난 디스크를 교체하여 시스템에 부착하면 시스템이 이를 감지하고 메세지를 출력합니다.</BF> <TSCREEN><VERB> scsi0: Someone reset channel A scsi0: Someone reset channel A scsi0: Someone reset channel A scsi0: Someone reset channel A scsi0: Someone reset channel A </VERB></TSCREEN> <BF>raidhotadd 명령으로 새장치를 array에 추가합니다.</BF> <TSCREEN><VERB> [root@csdove ~]# raidhotadd /dev/md0 /dev/sdc md: trying to hot-add unknown-block(8,32) to md0 ... md: bind<sdc> RAID5 conf printout: --- rd:3 wd:3 fd:0 disk 0, o:1, dev:sdb disk 1, o:1, dev:sde disk 2, o:1, dev:sdd </VERB></TSCREEN> <SECT1>복구 과정중의 /proc/mdstat 내용 <BF>장애가 발생한 디스크 sdc가 (F) - Fail 로 표시되어 있는 것을 확인할 수 있으며</BF> <BF>복구의 진행상황도 알아볼 수 있습니다.</BF> <TSCREEN><VERB> [root@csdove ~]# more /proc/mdstat Personalities : [raid5] md0 : active raid5 sde[3] sdd[2] sdc[4](F) sdb[0] 71687168 blocks level 5, 128k chunk, algorithm 2 [3/2] [U_U] [========>............] recovery = 44.8% (16076544/35843584) finish=14.2m in speed=23114K/sec unused devices: <none> [root@csdove ~]# more /proc/mdstat Personalities : [raid5] md0 : active raid5 sde[3] sdd[2] sdc[4](F) sdb[0] 71687168 blocks level 5, 128k chunk, algorithm 2 [3/2] [U_U] [============>........] recovery = 60.3% (21639168/35843584) finish=10.0m in speed=23552K/sec unused devices: <none> [root@csdove ~]# more /proc/mdstat Personalities : [raid5] md0 : active raid5 sde[3] sdd[2] sdc[4](F) sdb[0] 71687168 blocks level 5, 128k chunk, algorithm 2 [3/2] [U_U] [===================>.] recovery = 99.9% (35824896/35843584) finish=0.0mi n speed=23019K/sec unused devices: <none> </VERB></TSCREEN> <SECT1>복구 완료 <BF>복구가 완료된 RAID장치의 상태를 확인합니다.</BF> <BF>RAID를 구성하는 디스크의 순서가 바뀌었음을 알 수 있습니다.</BF> <TSCREEN><VERB> [root@csdove ~]# more /proc/mdstat Personalities : [raid5] md0 : active raid5 sdc[3] sde[1] sdd[2] sdb[0] 71687168 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU] unused devices: <none> </VERB></TSCREEN> <SECT>감사의 글 <BF>이 문서를 만드는데 도움을 주신 분들입니다.</BF> <ITEMIZE> <ITEM>김종복 조교님 - RAID를 사용할 수 있는 IBM x240 시스템을 제공하여 주셨습니다. <ITEM>Mycluster님 - 본 테스트를 하게끔 영감을 주셨습니다. ;-) </ITEMIZE> 이 문서에 대한 개선사항이나 문의점을 저자에게 보내주시기 바랍니다. </ARTICLE>