안녕하세요
어제 운영중인 DB 서버의 RAID가 풀리면서 장애가 발생했습니다.
Galera Cluster로 2개의 서버로 구성해 놓았는데 2개 서버 모두 DB가 죽었습니다.
IDC에서는 두개의 서버 모두 RAID가 풀리면서 오류가 났다고 하며
SSH는 붙고 DB만 죽은걸 보면 DATA쪽 (RAID 1+0) 만 풀린것 같습니다.
DELL 서버에서 WD SSD를 사용하면 해당 문제가 발행하는 경우가 있어 펌웨어 업데이트를 해야 한다고 하는데
상식적으로 2개의 서버가 한꺼번에 장애가 나는 상황이 이해가 안갑니다.
이런 경우도 있을 까요?
아래 사양의 서버 3대를 운영중인데 한대는 아직까지는 멀쩡합니다.
모델명 : DELL R650xs
CPU : Xeon Silver-4310T (2.3G / 10Core) X 1EA
MEMORY : DDR4 PC4-23400R 16GB x 2EA
SSD 500GB x 2EA [OS] (RAID 1) ( OS )
SD 1TB x 4EA [DATA_1] (RAID 1+0) ( HOME )
SSD 1TB x 1EA ( SPARE )
SSD 1TB x 1EA ( BackUP )
어떤 오류인지 확인할려면 어떻게 해야할까요?
고수님들의 조언을 부탁드립니다.
용량으로 봐서 서버용이 아닌듯 싶네요?
그리고 벤더 서버들의 정품 디스크는 거의 모두 기업용 HDD /SSD 입니다..
문제가 된 SSD 모델이 무엇인지가 중요하고 현재로서는 레이드 카드에 기록된 에러로그를 분석하여 어떤 오류인지 알아내야 합니다..
레이드 장비도 사람이 만든 것이고 디스크도 사람이 만든 것인지라 100% 완벽하지 않습니다..
물론 디스크가 여러개 한꺼번에 죽는 경우는 드물기는 하지만 안 일어나는 것은 아닙니다..
데이터 백업이 되어 있는지 모르겠네요..
SSD는 보통 SSD가 죽으면 데이터 복구는 거의 불가능합니다.. (복구업체에 들고가도 데이터 살아날 확률이 낮습니다..)
ssd 호환성 문제생기는 경우 많이 봤습니다.
특히 wd green은 거의 대부분 문제 발생하고
blue도 처음에는 괜찮은듯 싶다 금방 풀리는 경우도 많습니다.
DELL 서버 (다른 브랜드도 물론) 공식적으로 타사 HDD 지원하지 않습니다.
R750/650는 특히 WD SSD/HDD 호환되지 않습니다.
정확하게는 Perc 75X, 76X에서 호환되지 않습니다.
호환되는 FW가 있는데 모든 모델을 지원하는 건 아니고 몇몇 기업용 SSD/HDD만 지원합니다.
경우의 수이긴 하지만, 새제품이면 컨트롤러와 SSD간의 부조화의 문제일 가능성이 높아보입니다.
델에서 써티된 OEM SAS?/SATA SSD 인지 확인이 필요해 보입니다.
그냥 시중에서 별도로 맞추어서 장착하신 SSD라면 부조화의 문제일 가능성이 있습니다.
PERC와 SSD간의 전원 프로토콜 문제로도 레이드가 풀릴수도 있고,
해당 SSD가 DB에 집중적으로 I/O폭풍이 나서 못버티고 뻣은거 일수도 있고,
모든 SSD가 새제품이 아니라면 섞어찌개면 오버 프로비저닝이나 SSD 생명주기에 걸려서 동시에 나갈수도 있을듯 합니다.
좀더 근접하게 원인분석을 하시려면 해당 시스템의 커널 로그/PERC RAID 로그/ Galera Cluster 로그쪽에
특정시간대에 집중적으로 올라왔던 로그를 살펴보시면 유추가 가능할수도 있습니다.