서버 HDD Fail 증상

플카   
   조회 5280   추천 0    

서버 모델: HPE DL360 Gen10

어레이카드: P408i-a Gen10 Controller


HDD 3개를 Raid5 로 묶어서 사용 중인데, HDD 1개가 fail 이 나서 주황색 불이 들어오길래 핫스왑으로 1:1 교체하였습니다.


교체 후 확인 해 보니 이번엔 다른 HDD가 fail 이 나서 주황색 불이 들어오고 있는데요.


HDD 불량이 우연히 연달아 일어났을 확률이 낮아 보이는데, 핫스왑으로 교체 후 리빌딩의 영향일까요?


혹시 점검 할 수 있는 방법이 있다면 고견 부탁드립니다.. ㅠ
병철 2021-07
가끔 리빌드 중 다른 디스크가 추가로 뻗는 경우가 있는데.. 운이 좋으셨던 듯 합니다.
오후 늦게 RAID 5 구성에서 디스크 1개 Fail 났는데 디스크가 없어서 다음 날 교체하기로 하고,
다음 날 아침에 엔지니어가 들어가서 봤더니 디스크가 한개 더 Fail 되어 있는 경우도 봤습니다.
     
플카 2021-07
디스크 2개가 그 짧은 시간에 텀을 두고 뻗어버릴수도 있단 말씀이시군요.. 감사합니다
박문형 2021-07
하드를 레이드로 묶고 난 후 계속 사용하면 모든 하드에 배드 섹터가 조금씩 생기는데 우선은 레이드 콘트롤러가 하드 1개당 배드 몇개까지는 허용하나

그 이상이 되면 그 하드는 BAD 하드로 낙인찍고 Fail 상태로 만들어 버립니다..

따라서 하드 1개가 배드나고 그것을 새하드로 리빌딩해서 사용할지라도 나머지 2개의 하드는 실제로는 사용 기간이 오래된 하드이고

시간이 지나면서 Fail 이 될 수 있습니다..

HDD 가 Fail 이 연달아 나는 것은 어려운 일이지만 그럴 수도 있다라고 생각합니다..

레이드에 묶인 하드 점검은 레이드 콘트롤러 모니터링 프로그램에서 하드가 건강한지 아닌지 특정하드의 로그가 있는지로 판단하는게

거의 다라고 생각됩니다...

HDD 센티날 프로그램 같은 경우 웬만한 레이드 카드로 묶은 레이드들의 하드들의 상태를 하나하나 볼 수 있습니다..


하드가 이상이 없는지 아닌지 재대로 체크하려면 하드의 데이터는 포기하고 하나의 하드를 다른 시스템에 설치하고

로우레벨 혹은 와이핑 프로그램으로 하드를 초기화해보는 것입니다..
     
플카 2021-07
자세한 답변 감사합니다!

HDD 센티날 프로그램이란건 hp acucli 같은 툴을 말씀하시는 걸까요?

그리고 불량으로 적출한 HDD의 경우 로우레벨이나 와이핑 프로그램으로 초기화 후 HDD Tune 같은 툴로 배드섹터 검사를 돌려보면 될까요?
          
박문형 2021-07
https://www.hdsentinel.com/

불량 하드를 초기화하고 하드 전체의 배드섹터 검사를 해보면 되겠죠..

초기화 해도 배드가 나올 때는 나오니까요..
               
플카 2021-07
물리 배드섹터가 검출되는지 돌려보란 말씀이셨군요. 정보 감사합니다!!
송주환 2021-07
당장 데이터부터 백업하세요. 리빌드 중에 안 죽은 것만 해도 운이 아주 좋은 케이스입니다.
     
플카 2021-07
리빌드 중에 안 죽은 것만해도 다행이란 말씀이.. HDD 1개 불량으로 핫스왑 교체 후 리빌드 도중 다른 HDD가 자주 죽기도한다는 말씀이신가요?
          
병철 2021-07
네 리빌드 하는 도중에 기존 드라이브가 퍼지는 경우가 있습니다.
박문형 2021-07
네


리빌드 도중 다른 하드가 죽는 경우도 있고

리빌드하는 도중 새로 꼽은 하드가 배드가 있어서 리빌드가 멈추는 경우도 있습니다..

심하면 몇 번 껐다 켰다 했는데 데이터 날라가는 경우도 있습니다.. (본래 레이드 장비는 끄면 안되지만)

레이드 장비는 일종의 도구인지라 고장날 때는 고장 납니다.. (콘트롤러 자체나 캐쉬램도 고장날 때 있습니다..)

보통 그렇게 되면 데이터 복구는 못하고 데이터를 다 날리게 되는데

데이터를 최대한 보존하시고 싶으시면 백업을 독립적으로 3번 해두면 데이터 망실 위험이 많이 줄어 듭니다..

대신 관리하기 번거롭고 유지할려면 돈이 많이 들죠..

레이드 장비 다룰 때도 백업이 안되어 있으면 데이터 보일 때 우선 백업을 하고 그다음 작업하는게 좋습니다..
     
플카 2021-07
멀쩡하던 하드가 리빌드 도중 자주 죽는다는 건

교체 된 하드를 리빌딩 하는 과정에서 정상적인 하드 패리티 값을 읽어 들여와 디스크 I/O 가 평소보다 많이 발생하게 되면서
그 영향으로 정상적인 하드에도 평시보다 부하가 걸려 간당간당 했던 하드마저 죽어버리는 걸까요...

이게 우연 이라기엔 옆 하드 불량이난게 몇 일 차이나지 않아 영향이 있나 싶기도 하네요
박문형 2021-07
HDD 3개로 RAID 5로 돌리는 것은 어찌 보면 멍청한 짓입니다..

레이드 장비는 관리가 중요한데 24시간 감시 하지 않는 이상 문제가 생기면 그 문제를 해결하기 위해서 시간이 걸립니다..

그 걸리는 시간 동안 레이드 장비 뻗으면 데이터 다 날라갑니다..

보통은 RAID 5로 묶은 다음에 디스크 베이가 남아 있으면 하드를 1~2개 더 꼽고 핫스페어를 설정해둡니다..

그렇게 하면 RAID 5에서 디스크 1개가 고장났을때 고장나자마자 핫스페어 디스크가 동작을 해서 바로 리빌딩에 들어갑니다..

관리자는 나중에 고장난 하드만 빼내서 잘 조치하면 됩니다..

물론 운이 안좋으면 핫스페어 리빌딩하다가도 멈추거나 하지만 핫스페어를 사용하면 관리자가 관리 시간을 많이 절약할 수 있습니다..
     
플카 2021-07
핫스페어 구성까지는 해서 나가는 것 같진 않은데 중요한 서버면 필요하겠네요

정보 감사드립니다..

이전에 이 게시판에 질문했을 때도 경험에서 오는 상세한 답변 주셨었는데.. 2cpu는 댓글추천 같은 기능은 없나보네요..^^;
제온프로 2021-08
아마도 컨트롤러가 처음 나간 하드의 리빌딩 끝나기를 기다렸던 것 같습니다..
두번째 하드는 이미 오류량이 상당히 있었던 것 같구요..
컨트롤러가 기다렸다가.. 리빌딩 끝나고  메세지를 주는 것 같습니다..
로그인 하시면 댓글을 남길 수 있습니다


4raid.co.kr
쓰기
제목Page 8/55
2014-05   4946328   1 정은준1
2015-12   1482997   1  백메가
2021-08   5811   1 dr2am
2021-08   4905   1 세이군
2021-08   4659   1 푸른소나무
2021-08   4031   1 회상2
2021-08   3498   1 이상정
2021-08   4542   1 멋쩌염
2021-07   5281   1 플카
2021-07   4538   1 SDG6038
2021-07   5536   1 cho609495
2021-07   4049   1 금속신
2021-07   3933   1 anti2cpu
2021-07   4231   1 나라사랑
2021-06   3854   1  Noobmaster69
2021-06   3603   1 김민수2
2021-06   3959   1 플카
2021-06   132   1 dadad
2021-06   3076   1 제온프로
2021-06   3229   1 새로운차원
2021-05   3598   1 새로운차원
2021-05   3584   1 새로운차원
목록
쓰기