회사에서 사용하는 녹음서버가 CentOS를 사용하고 있습니다.
아침에 녹음서버에 접속이 안된다는 연락을 받고 부랴부랴 사무실에 가보니 터미널창에 무슨 IO에러가 떠 있으면서 아무것도 작동이 되지 않은 상태였습니다.
일단 리부팅이라도 하려고 명령어를 했음에도 감감 무소식...
어쩔수 없이 본체에 리셋버튼은 눌러 리부팅을 시켰습니다. POST화면이 나온 후 RAID 컨트롤러에서 디스크 검색하는데 5분이 넘게 걸리더니 RAID 1을 사용하고 있는 디스크 한개가 FAIL이 나왔습니다.
이후 불량하드 제거하고 새하드 장착 후 부팅을 다시 했습니다. 예전에 RAID 1 은 자동으로 리빌딩이 된다는 얘기를 들은적이 있어 그냥 부팅했더니 RAID 1 deraded 이런화면이 나와서 뭔가 찜찜한 기분을 떨칠 수 없어서 수동으로 리빌딩하기로 했습니다.
어찌저찌 리빌딩 화면까지 들어와서 리빌딩 버튼을 눌렀더니 시간이 너무 오래 걸리는것 같습니다. 꼴랑 500기가 하드 리빌딩하는건데 5분정도에 1% 진행되는것 같더군요.
녹음서버를 계속해서 방치 할 수 없어서 일단 ESC버튼을 눌러 취소 시키고 CentOS를 다시 부팅시켰는데... RAID 컨트롤러 화면에 RAID 1 정상으로 나오고 옆에 rebuild라고 표시가 되는걸 확인했습니다.
혹시 이상태로 부팅을 시키면 CentOS에서 알아서 리빌딩을 할까요? 부팅이 완료됐음에도 하드디스크 LED가 계속해서 깜박거리는걸 보면 뭔가 작업하는것 같기는 한데...
일단 오늘은 이상태로 놔두고 월요일에 출근해서 다시 확인해보려 합니다. 혹시 CentOS에서 리빌딩이 됐음을 확인하는 방법이 있을까요?
OS 내부에서는 알 수 없지 않을까요?
저도 예전에 Raid 5 고장난 디스크 교체 몇번 해봤는데, 밤새 리빌딩 하니깐 핫스페어 디스크에 들어오던 불이 꺼지고
교체된 디스크에 정상적으로 액세스 하더라고요.
이런 방법으로도 확인 할 수 있었습니다.
CentOS 안에 있는 소프트레이드로 묶은 것인지.
레이드 카드로 묶은 것인지.
상용 소프트웨어를 사용한 것인지
우선 거기에 맞는 메뉴얼을 찾아서 공부하고 테스트 해야 합니다.
5분에 1%면 양호한 건데요..
리빌딩 속도는 동작중 부하가 얼마나 일어나느냐에 따라서 리빌딩 속도가 달라집니다.
그리고 되도록이면 리빌딩때는 옆에 붙어서 몇시간 몇일이던 이상이 없는지 모니터링 해주면 좋습니다.(무지 노가다)
리빌딩 되는 하드가 배드가 있다라고 하면 또 시스템 멈추던지 난리 날테니까요.
오늘 출근해서 녹음서버 확인해 봤는데...리눅스 상에서도 리빌딩이 되는것 같습니다.
리부팅 후 컨트롤러 메뉴 진입해서 디스크 정보를 보니 rebuild가 optimal 표시로 바뀐것을 확인했습니다.
녹음서버가 여러대 있는데 핫스페어를 달던가 해야할것 같네요.