시스템 구성을 간략히 말씀드리자면, 마스터는 OS용으로 1TB HDD 그리고 사용자 공간용으로 2TB HDD를 raid 1로 구성해서 HDD는 총 4개 (1TB x 2, 2TB x 2) 를 쓰고있습니다.
raid도 따로 카드를 쓰는건 아니고 보드에서 제공해주는 software raid 사용하고 있습니다.
OS는 CentOS이고 10~15명의 사용자가 마스터로 접속해서 프로그램 컴파일을 주로하고 연결되어있는 노드들로 프로그램을 무지막지하게 실행시킵니다.
노드들은 약 12대 정도이고 하드디스크없이 마스터로 부터 OS 이미지를 랜부팅을 통해 부팅을해서 단순 프로그램 실행용으로 돌리고 있습니다.
마스터에 달려있는 2TB 사용자공간이 NFS로 모든 노드가 공유하고 있구요.
3년째 굴리고 있는데 몇달전부터 하드가 하나 맛이간뒤로 점차 하나씩 차례로 죽어가는것 같습니다.
시스템이 전부 일반 조립 데스크탑 부품으로 저렴하게 구축한거라 내구성이 확실히 떨어지나 봅니다.
HDD는 전부 일반 데스크탑용 시게이트 제품입니다.
이번에 큰맘먹고 HDD는 히타치 서버용으로 2TB 두개 4TB 두개 구매해놓았구요 교체하면서 아예 OS도 우분투로 갈아업고 전체적으로 싹 다시 구축할 예정입니다.
24시간 365일 돌아가야하고 (실험실입니다.) 무엇보다 사용자들 데이터가 날라가면 개개인의 연구에 치명적이라 raid가 필수인데 다시 raid 1을 꼭 써야하나 싶습니다.
같은데이타를 분산해서 저장하니까 하드의 스트레스는 동일한걸로 생각되는데 그래서 비슷한 시기에 하드가 하나씩 죽어나가는것 같습니다.
데이타도 날아가지 않게 잘 보존가능하면서 하드 내구성에도 도움이되는 raid 방식 조언 부탁드립니다~!
raid는 0하고 1밖에 안써본 초보라 실제 경험에 의한 조언이 많은 도움이 될것 같습니다 ^^
기업용 하드로 바꾸어도 부하가 심한데 캐쉬메모리가 없는 온보드 레이드방식을 사용하면
조금 더 오래 버티지만 비슷한 상황으로 옵니다.
데이터가들어 있는 하드를 캐쉬메모리가 있는 레이드 카드(한돈합니다.Adaptec/LSI)로 연결하던지
외장레이드시스템(큰돈 들어갑니다)으로 하면 캐쉬메모리로 인하여 하드에 무리가 덜가고 속도도
빨라집니다.
하드를 4개 이상 달아서 1+0의 방식을 사용하면 좋습니다.
RAID 1까지하면 단일 디스크 고장시 어느정도 방어가 되는셈이구요.
RAID 10까지하면 단일 디스크 고장시 어느정도 방어되고 읽기/쓰기 성능도 올라갑니다.
1개 하드에 집중되던 IO가 2개이상으로 나눠 들어가니 디스크 수명도 늘어날테구요.
지금 구성에서 최적은 박문형님이 말씀하신대로 캐쉬메모리 있는 레이드카드 달아서 쓰는것 같네요.
레이드카드 달면 쓰기방식은 writeback으로 하고 배터리 달아주면 될까요?
백업장비 (외장하드 정도라도) 하나 더 두시고...수시로 백업 받아주시고...
두 장치의 용량을 커버할 수 있는...자그마한 UPS 도 하나 달아주시면 더 좋구요. (배터리로 캐쉬 데이터는 보호할 수 있지만 하드디스크 보호는 못하니까요)
큰 용량이 필요치 않으시면 4T 하나 반품하시고 하나는 백업용으로 돌리시고...추가로 2T 4개로 raid 10 을 꾸미시는게 성능과 안정성면에서 더 낫습니다.
raid 10 을 쓰는거면...레이드칩셋이 하는 일이 많지 않습니다.
고성능 레이드카드는 발열문제가 있으니...중간급 정도로 하시는 것도 비용측면에서는 유리합니다.
LSI 제품을 예로 들자면 9260 (혹은 9261...레이아웃만 다르고 성능은 같습니다) 정도면 됩니다.
추가로 LSI 의 경우...CacheCade Pro 옵션을 구매하시면 SSD 를 캐쉬로 사용하게 세팅할 수 있으며...이 경우 읽기 속도가 비약적으로 빨라집니다만...SSD 의 수명 문제로 인해 주기적으로 교체해주어야하므로 비용이 상승할 수 있습니다.
참고로 9260 용 CacheCade 는 이베이에서 대략 $100 정도에서 구매가능합니다.
아답텍에도 유사한 기능이 있고...해당기능은 아답텍 쪽이 좀 더 우수한 모양입니다만...저는 아답텍 쪽은 잘 몰라서...........박문형님께 여쭤보세요~ ^^
'24시간 365일 돌아가야하고'가 RAID의 이유이고,
'무엇보다 사용자들 데이터가 날라가면 개개인의 연구에 치명적이라'는 백업입니다.
규모가 꽤 있는 사이트에서도 RAID 구축하고 백업은 전혀 신경도 안쓰는 곳이 많아 가끔 놀랍니다.
RAID는 RAID대로, 백업은 따로 돌리셔야겠지요.
차라리 hdd를 한개더 추가하시고 zfs로 raidz2나 raidz3같은걸 쓰시는게 더 나아보이긴 합니다.