안녕하세요
연구실에서 실험용 서버를 구축하였습니다.
문제는 새로 도입한 서버가 2.5인치 HDD 베이만 8개 달려있는 제품으로, 3.5인치 HDD를 달수 없는 상황입니다. 본 상황에서 2개의 SSD로 달아 각각 OS용과 실험용 (높은 IO 필요한 경우 사용)으로 사용하고 남은 HDD베이 6개를 실험 결과를 저장하고자 2.5인치 HDD를 연결하였습니다.
하지만 여기서 가장 큰 문제는 보다 큰 용량을 확보하고자 2.5인치 HDD를 2TB 노트북용 하드를 사용하였고, RAID5로 묶었다는 점입니다.
SAS 하드와 가격이 너무 차이가 크게 나서 일반 노트북 하드를 사용했지만, 장애발생 횟수가 생각보다 높네요.
담당 기술지원을 해주시는 분의 말로는 문제는 계속 발생할 것이며, 그때마다 교체를 해드릴수 있다라고 말씀해 주시지만, 사실 매우 불안합니다.
기술지원으로 온 답변으로는 일반 노트북용하드를 사용하였기에 RAID 카드에서 정보를 읽을 수 없어 장애 빈도수가 더 높다 라고 말씀하십니다
혹시 RAID카드와 노트북용 하드 사이의 정보교환으로 문제가 발생한 것이라면, RAID 카드 없이 ZFS를 사용하는 것이 더 높은 안정성을 가져올 수 있지 않을까 해서 질문드립니다.
정리하자면,
(1) 노트북용하드 6개의 RAID5(하드웨어레이드, 캐쉬 달려있으며 RAID5,6 가속 가능) vs ZFS를 사용하여 소프트웨어 레이드 및 256G SSD 캐쉬 사용
어떤 구성이 더 안정적일까요?
(2) 또한 RAID카드에서 JBOD 형식으로 HDD를 인식한 후에 ZFS를 연결하는 것도 일반적인가요?
*) 서버의 사양은 CPU E5-2687W3 * 2 RAM 300기가 이상입니다. ZFS의 사양은 충분해 보입니다.
*) 작은파일들은 모두 SSD에서 작업하고 그 결과로 나오는 약 10기가 정도의 단일 파일을 저장하고자 HDD를 사용하고 싶습니다.
*) 서버는 Ubuntu 14.04로 작동하고 있으며, ZFS를 사용한다면 Kernel에서 구현된 native ZFS를 사용코자 합니다.
하드의문제는 일반 노트북하드와 기업용(SATA, SAS)은 내구성의 문제 입니다.
ZFS로 해도 현재의 문제와는 별반 차이가 없을겁니다.
소프트 레이드는 권장 해드리지 않습니다.
2.은 컴퓨터에따라 될수도 있고 안될수도 있습니다.
답변 감사드립니다.
한가지 여쭤보고 싶은 내용이 있습니다. 일반 노트북하드와의 차이가 내구성의 문제라고 말씀해 주셨는데, 두달전 처음 도입하고 나서 벌써 4개의 하드가 불량 / 교체를 진행하였습니다. 혹시 이정도의 장애 빈도가 내구성이 약한 노트북 하드를 사용했다는 사실로 설명이 가능한지 여쭈어 보고 싶습니다.
만약 그렇다면 기업용 하드로 교체하거나 네트워크로 다른 안정적인 드라이브로 물려서 써야하는 것이 최선일까요?
제 경험과 IDC쪽으로 들어가 있는경우를 많이 봐 왔습니다.
제 아는 지인 회사에서도 일반 노트북 하드 160개 설치 하였다가 3개월동안
30%가량 문제가 생겨 전량 SAS로 교체 했습니다.
5개 raidz 로 묶고 1개 spare 로 구성하시면 될 듯 합니다.
6개를 모두 쓰려면 raid-z2 로 recommend 가 됩니다.
zfs 는 특성상 6개를 raidz 로 쓰면 속도가 많이 떨어집니다.
UPS는 사용중입니다.
이 경우 hdd 5개를 raidz로 묶고 1ssd를 cache로 사용하면 될까요?
그래서 zil 은 ssd 2개를 미러링해서 쓰는 것을 권장합니다.
ssd 를 2개를 장착하면 hdd 4개를 써야하는데...4개는 raid-z2 혹은 mirror-stripe 가 권장이라...raid-z 로 쓰기에는 좀 느려지는 것을 감수해야합니다.
CD-ROM 자리가 있다면...저라면 다음과 같이 세팅하겠습니다.
SATADOM 을 하나 장만해서 OS 용으로 사용...(2개를 구비하면 미러링도 가능)
CD-ROM 자리에 멀티부스트로 SSD 를 하나 장착해서 실험용(?) 으로 사용...
8베이중 2베이에 SSD 장착...ZIL 로 사용...
6베이에 hdd 장착 후 5개 raid-z, 1개 spare 구성...
이렇게요...
CD-ROM 자리가 없는 경우가 좀 애매하긴 합니다만...이 경우 PCI 슬롯이 남아있다면 거기다 PCI 형 SSD 를 장착하는 방법도 있습니다.
3.5인치하드 사용하는 das는 어떠신가요?
hw raid던 sw raid던 2.5인치 하드가 죽어나는데는 별의미없지 않나 하네요
그리고, 2.5인치가 7200rpm인가요?
보통 5900이나 5400rpm은 저전력이지만
그만큼 raid와는 안맞을겁니다
-- 수정합니다 확인결과 5400rpm 하드였네요..
2.5인치 하드가 이정도로 불안정할줄은 몰랐네요.. 한 5기가정도 되는 파일 100개를 쓴게 다인데 벌써 몇개째 죽는것인지...모르겠습니다.
제 가설은 2.5인치 노트북하드와 레이드카드의 궁합(?)의 문제로 (1)레이드가 풀린다 혹은 (2) 문제가 없는 하드에서도 오류가 있다고 생각하고 fail을 밷어낸다 라고 생각했었는데, 많은 분들께서 내구성 문제이다 라고 말씀해 주셔서 점점 머릿속이 복잡해지네요.
혹시 동일한 경험을 해보신분이 있는지 궁금합니다.
기업용 제품과 일반용 제품은 내구성차이 몇배 이상 차이 납니다
RAID 카드내의 디스크들중에서 에러율이 높은 디스크는 폴트 시키기 때문에 디스크 장애 비번한거구요
EMC 스토리지에서도 기업용 SATA 디스크들은 NL-SAS 포함하여 장애빈번한데 일반고객용 SATA 디스크하고는 비교할빠는 아닙니다.
상황이 특이한게 아니고요 당연히 서버 Bay 꼽는 디스크는 기업용 SAS 디스크로 구성해야죠.
이런경우 3개월 이내라면 DOA
신제품 교체의 수준이 아닌
환불도 가능한 경우입니다
많은 분들이 이런 수업료를 지불하고
벤더로 넘어들 옵니다
굳이 조립쓰고 머리 아플 필요 없습니다
이것이 저 또한 조립 않쓰고
벤더를 사용하면서 손에 기름 않 묻히는 이유이기도 합니다...^^
자기네 디스크가 아니면 컨트롤러와 잘 안 맞을 수 있습니다.
불시에 멈춘다거나 아예 디스크가 나가기도 합니다.
아직까지 저는 그런 경우는 없었지만
그럼 할수없이 울며 겨자먹기로 벤더로 전량 교체를.......^^;;
참고로.. HP 2T sas/sata 모두 소비자가는 개당 200이상
일반 2T 하드는 맥스쳐도 20만원 않넘죠?
(근데 2T는 7.2K 짜리는 제가 알고 있기엔 국내엔 없는데........)
Spinpoint 2TB ST2000LM003 이였네요..
ZFS를 사용하는 넥센터의 경우 캐쉬 달린 레이드 카드에서도 돌아는 가나 디폴트 하드웨어는 캐쉬 없는 HBA카드입니다..
벤더제품은 모든 부품이 벤더가 테스트 하고 인증된 것만 사용하기에 호환성 문제 같은 것이 적습니다.
조립은 모든 부품에 대한 호환성 문제를 생각해야 합니다.
에러가 났다면 레이드 카드이던 시스템이던 에러로그가 남았을 터 인데..
에러로그 분석을 해보시고 원인이 무엇인지 찾아야 합니다.
MegaCLI를 사용한 결과 하나의 하드디스크 상에서 Other Error count가 10으로 올라가 있는 상황을 확인할 수 있었습니다.
(다른 하드디스크는 모두 Media Error Count:0 Other Error Count:0 으로 보입니다.)
Other Error count가 발생하여 Fault가 나온것으로 추측하고 있습니다.