박문형 2019-01

리눅스 서버에서 소프트웨어 레이드로 하드 2개 미러링으로 묶은 것이죠??

이니이니 2019-01

hp dl360p g7 컨트롤러입니다. 미러링 맞구요

수라 2019-01

스마트 정보를 따로 못보는건가 컨트롤러에서 보통은 확인이 되지 않나요? 유지보수 정기점검때 저런거 보라고 하는거죠

빠시온 2019-01

hp면 에러시 이메일로 에러 내용 보내줄수 있을겁니다

하얀앙마 2019-01

mirror가 두개동시에나가는경우는 보기힘든데요.
리눅스서버라하더라도 들어가서보면 로그나 이벤트메세지발생했을겁니다.
ilo들어가서 따로보지않는다고 하면 육안으로도 디스크에 led켰었을텐데요
점검을안하신듯하네요

우앙뿌앙 2019-01

ilo 로그 내놓으라고 하세요
로그업으면 소송감

박문형 2019-01

하드는 계속 동작하게 되면 나중에 배드섹터가 생기게 됩니다..

레이드 시스템(하드웨어레이드/소프트웨어레이드 등등)은 하드를 백그라운드로 계속 감시하면서 동작을 하는데

이 레이드 시스템이 감당하는 배드섹터 한계량이 있고 그 이상 배드섹터가 나게되면 레이드 디스템은 하드를 불량으로 판단 밷어 버립니다..(불량하드로 처리)

이 배드 섹터가 나는 것이 한 하드만 나라는 법은 없고 두개의 하드 혹은 여러개의 하드에서 계속 늘어나게 되는데

레이드 시스템은 RAID 1 /1+0 /5 /6에서 한개의 하드 정도는 불량으로 처리하여 어느 정도는 버티지만 불량이난 상태에서 (레이드가 디그레이드 되었다라고 함)

계속 돌리면 다른 하드도 불량처리가 되어 결국 레이드가 깨져 버립니다..


아마도 문제가 된 시스템은  장기간 레이드 모니터링 없이 계속 돌아갔고 하드 1개가 고장나자마자 발견되었으면 디스크 교환으로 조치라도 할텐데

그 발견 조차 없었기에 두 하드가 다 고장났으리라고 생각됩니다..


(디스크 넣고 데이터 복구중에도 원본 데이터 하드가 배드가 많으면 레이드 볼륨을 재대로 복구 못하는 경우도 있습니다..)


그리고 오랜시간 동안 에러메세지 없이 계속 돌아갔었지만 재부팅후 레이드가 완전히 깨져 버리는 경우도 있는데 이는 레이드 시스템이 하드가 배드섹터나

에러나는 것을 재대로 감지하고 있지 못하다가 재부팅후 레이드 시스템이 여러 하드에서  배드섹터등이 발생 레이드시스템이 감당 못하고 레이드 볼륨이

깨져 버리는 경우 입니다..


어떤 레이드 장비든 하드디스크든 신이 만든 장비가 아니기에 불량이나 사고는 있을수 있으며 독립적인 백업 만이 살길입니다..

박문형 2019-01

보통 레이드 카드나 시스템들은 상태를 알아 볼수 있는 모니터링 프로그램이나 로그등을 저장하는데

소프트웨어 방식의 레이드 카드(저가형 / 캐쉬메모리 없는 레이드 카드)들은 이런 모니터링 장치가 없는 경우도 있고

모니터링 장치가 있어도 각종 OS들을 다 지원하지 못하는 경우도 있습니다..


단 비싼 레이드 장비는 그런 모니터링 장치가 상당히 충실하게 되어 있습니다..

그리고 이쪽은 사용자나 운영자가 얼마나 그 장비를 많이 알고 사용 가능한가가 관건이 됩니다..

서버운영전문회사라도 레이드 장비를 겪어 보지 못하면 맨날 하루에 한번씩 서버 채크 한다고 해도 사고 날때는 사고가 납니다..

이럴때는 독립적인 백업을 여러번 (3번) 하는 방법 만이 살 길입니다..

monan 2019-01

레이드 묶였다고, 디스크 장애가 동시에 안나는게 아닙니다.
확률을 줄이는거 뿐이죠.
두개 동시에 장애 날 수도 있습니다.
문의 요점은 레이드 공부가 아니라
장애시 알수 있느냐 인것 같은데,
레이드 카드 사용중인 모델인듯 하고요.
hp dl360p 모델이면 레이드 카드 제조사에 가면 리눅스용 레이드 메니져 있을 듯합니다.
그리고 HP모델이면 HP 에서 제공하는 리눅스 레이드 모니터링 툴이 있을 듯 하고요.
유지 보수 맺어져 있다면 콜 접수해 문의해 보세요.
HP제품이면 HPProLiantValueAddSoftware
설치하면 될듯 합니다.
괜히 화이트 박스보다 비싼게 아닙니다.
툴 충실하고, 내용 세세히 나옵니다.
로깅도 계속 되고요.
사용법이나 설치법은 .......
그나저나 장비 점검은 자주 하긴 해야 할듯 합니다.  <--- 가장중요.
10여년이 넘게 장비 봤어도 HP 서버에서
디스크 동시 문제로 RAID1 깨진건  못봤습니다.
대부분 카드 버그나, 방치가 문제였죠..

성기사 2019-01

더블 폴트 메이져 서버에서도 나기도 합니다.

또리군 2019-01

장애시 서버 외부적으로는 디스크 트레이의 LED를 통해 주황색 혹은 붉은색으로 깜박입니다.
내부적으로 확인할 수 있는 방법은 운영체제를 통해서나 각 벤더별로 제공하는 매니지먼트 포트를 통해 장애사실을 확인 할 수 있구요.
리눅스 서버라서 방법이 없다? 기술력이 현저히 낮은 직원이 말했거나 혹은 그런 직원들이 대부분인 업체로 판단됩니다.

이니이니 2019-01

답변주신분들 감사드립니다.
업체측 답변으로는 SSD는 두디스크 모두 나가는게 자주 있는 일이라고 합니다.
두개 한꺼번에 나간 것이며, 특별한 로그는 없다고 하네요 ㅜ.ㅜ
저게 말이 되는지를 잘 모르겠습니다. 지식이 짧으니 잘잘못을 가리기도 힙드네요

박문형 2019-01

SSD였군요..

HP 정품 SSD 였나요??

이니이니 2019-01

정품 SSD 아니였고, 일반 mlc SSD였습니다. 그게 문제일 수 있겠군요 ㅜㅜ

monan 2019-01

네 콜센터 직원 답변이 맞는듯 합니다.
정품 HP SSD라면 로그 남았을듯 합니다.
같은 라인이라도 벤더사 제품은 펌웨어 따로 올립니다.
정품 아니면 응대조차 안해 줄수도 있는데
그나마 응대는 해줬네요..
"SSD는 두디스크 모두 나가는게 자주 있는 일이라고 합니다. "
<-- 이 답변은 정품이 아니니 그냥 한소리 일듯 합니다.
      진짜이러면 SSD레이드 누가 씁니까 ??? ㅎㅎ

epowergate 2019-01

2개가 "나간다"는게 참 여러가지 의미가 있습니다.
HDD Device 2개가 동시에 불량품이 되는 경우도 있겠지만 대단히 적은 확율입니다.
저희 경험으로는 1개의 DEVICE에 문제가 발생하고 분제가 발생한 DEVICE에서 이상한 IO가 발생하는데 RAID Controller가 이 이상한 IO를 가든 DEVICE에 던지고, 결국 DATA에 문제가 발생하는 시나리오였습니다.
쉽게 확인하는 방법은 해당 DEVICE (SSD)를 가져와서 포맷하고 다시 사용이 가능한지 확인해 보시면 됩니다.
망가진 DEVICE는 포맷해도 (설정다시) 다시 사용하지 못합니다.

엠브리오 2019-01

두개가 동시에 같은 시각에 망가질 확률은 거의 없습니다.
다만 고장이 났을때 에러메시지가 뜨고, 관리자에게 통보되지 않았을 경우가 많습니다.

한개가 이미 고장난 상태에서 관리가 되지 않고, 계속 방치한 상태에서 얼마 못가서 다른것도 고장이 나는 거죠.

생산날짜가 동일하면 의외로 고장나는 시기도 비슷한 경향을 보입니다.
엄연히 시간차이를 두고 망가진건데, 사람들은 동시에(?) 두개가 망가졌다고 착각합니다.

그래서 사실 RAID-5도 에러가 났으면 즉각 대응해주어야 합니다.
그냥 방치하면 두개가 망가지는 순간 데이터 홀라당 날려먹게 됩니다.

우앙뿌앙 2019-01

지금은
 " RAID 1에서 디스크 두개가 한번에 고장 날수 있나요?"
가 아닌

 "진짜 두개가 한번에 고장 난 것이 맞느냐" 를 확인하셔야....

이니이니 2019-01

답변주신 모든 분들께, 다시한번 감사드립니다.
업체와 계속 작업중이라 일일히 답글 못드리는 점 양해부탁드립니다.
업체에서 저희 서버(HP DL360p G7)에 대해 잘 몰라서 이런저런 설정을 못하나 봅니다.
이런 일이 또 일어나지 않도록 이야기중입니다.
답변 감사드립니다.

박문형 2019-01

복구중이신가 봅니다만

데이터 망실 없이 다시 잘 돌아가기를 바랍니다..