OS마다 다르겠지만
저희 경험은
RAID Controller 3개를 장착하고,
각 RAID Controller에 12개 HDD 물리고
각각 RAID6로 구성하고
만들어진 3개의 LUN을 Software RAID, LVM, ErasureCode등 관리 가능하신 방법으로 RAID5로 구성
하는 것이 가능 안정적이었습니다.
36개 HDD를 장착하는 서버라면 RAID Controller 3개, 10G NIC 2개 장착은 어렵지 않은 장비라 가정해도 되지 않을까 합니다.
이 구성으로 저희도 수백대 납품해봤고 가장 안정적인 구성이어서 추천드리는 겁니다. 물론 더 좋은 구성도 있겠지요
vSAN 추천 사양을 보면 24Bay 서버에 HBA Controller 3개를 장착하고 (HDD 7개 + SSD 1개)로 3세트를 추천합니다.
대부분의 서버벤더들 (HP, Lenovo, DELL, SuperMicro, 후지쯔)에서는 이러한 구성의 서버 주문 가능하구요.
요즘 장비들은 더 좋기 때문에 더 좋은 구성을 고민해 볼수도 있을것이고 저희도 내년 2월부터 새로운 구성을 찾기 시작 할 겁니다.
비용&안정성을 맞추는 가장 재미있지만 힘들고 짜증나는 작업이죠.
좋은 아이디어 있으시면 언제든 환영합니다. 아이디어를 테스트 해볼 수 있는 장비/부품/인프라는 충분히 있습니다.
만일 20개를 raid 6로 묶으면 하나가 탈락되었을 때 19개 디스크 전체를 읽어 디스크 하나를 리빌딩해야 합니다. 요즘 하드디스크 용량이 커져서 만일 8TB 하드디스크라면 19 X 8 = 155TB. 즉 155TB를 읽어들여 디스크 하나를 리빌딩한다는 이야기가 됩니다. 시간도 무척 오래걸리지만 그 많은 양을 읽는 중간에 URE(unrecoverable read error)가 생기면 골치 아파집니다. raid 5라면 데이터 일부를 잃게 되죠. raid 6라면 그렇지는 않지만 부담스러운 것은 마찬가지.
그래서 보통 대용량 하드디스크 갯수가 많으면 raid 6를 raid 60으로 만듭니다. 여러 뭉치의 raid 6로 나눈 뒤 그것을 다시 raid 0으로 묶는 것. raid 6 한 덩어리가 8개 이하가 되도록 관리. 만일 한 덩어리가 8개라면 문제 생겨 리빌딩할 경우 전체가 아니라 7개만 읽어 디스크 하나를 리빌딩하면 됨.
큰 용량이 아니라 2TB 짜리 10개 정도를 묶는다면 raid 60까지 필요할 것 같지는 않고 그냥 raid 6 한 덩어리로 묶어도 괜찮을 듯.
레이드 콘트롤러에 따라 혹은 환경에 따라 가장 안정적이다라고 보기 힘들수도 있습니다..
몇가지 레이드 레벨을 검토해서 정한후 실제로 돌려봐야 어느 정도 답을 내실 듯합니다..
Raid 6 + 스페어 2개 정도.
Raid 5 + 스페어 2개 정도.
이정도로.. 유도리 있게 하시면 될 것 같습니다.
용량 상관없이 성능도 요구 된다면..
Raid 50 + 스페어 2개 정도.
전송속도는 2배, 용량은 1/2
저희 경험은
RAID Controller 3개를 장착하고,
각 RAID Controller에 12개 HDD 물리고
각각 RAID6로 구성하고
만들어진 3개의 LUN을 Software RAID, LVM, ErasureCode등 관리 가능하신 방법으로 RAID5로 구성
하는 것이 가능 안정적이었습니다.
문제는 그정도 지원할 시스템이 뚜땅뚜땅 하면 나오는게 아닙니다.. 3개 레이드 카드 다 안잡혀서 고생하는 경우가 많습니다..
하드 12개는 레이드 시스템에서 최대의 속도를 낼수 있는 하드의 갯수 입니다..
8개에서 13개 정도 인데 그 이상의 하드를 달고 한개의 볼륨으로 묶어 버리면 속도가 쳐집니다..
레이드 카드 제조회사에서 테스트 한 결과치를 찾아 보면 나옵니다..
사진데이터라 아마도 1차는 절대적으로 데이터 망실을 하지 말아야 되는 스토리지 시스템
2차는 빠른 데이터 입출력이 되는 스토리지 시스템을 생각하실텐데...
이것은 3차 이상의 독립된 백업 밖에 답이 없다고 생각합니다..
이 구성으로 저희도 수백대 납품해봤고 가장 안정적인 구성이어서 추천드리는 겁니다. 물론 더 좋은 구성도 있겠지요
vSAN 추천 사양을 보면 24Bay 서버에 HBA Controller 3개를 장착하고 (HDD 7개 + SSD 1개)로 3세트를 추천합니다.
대부분의 서버벤더들 (HP, Lenovo, DELL, SuperMicro, 후지쯔)에서는 이러한 구성의 서버 주문 가능하구요.
요즘 장비들은 더 좋기 때문에 더 좋은 구성을 고민해 볼수도 있을것이고 저희도 내년 2월부터 새로운 구성을 찾기 시작 할 겁니다.
비용&안정성을 맞추는 가장 재미있지만 힘들고 짜증나는 작업이죠.
좋은 아이디어 있으시면 언제든 환영합니다. 아이디어를 테스트 해볼 수 있는 장비/부품/인프라는 충분히 있습니다.
실제로는 3개 밖에 인식이 안되었고 이 문제는 마더보드의 옵션롬 용량이 부족해서였습니다..
보드 개발자쪽은 보드에서는 이리저리 튜닝해도 방법이 없으니 레이드 카드쪽에 바이오스랑 펌웨어 올라가는 용량을 줄여달라고
해봐라였고 일반 소비자는 그렇게 할 수가 없기에 그 보드에서는 레이드 카드 3개가 한계로 끝났습니다..
나중에 알고 보니 레이드 카드 중에서 옵션롬이 재일 큰게 통상적으로 LSI 더군요...
아답텍은 옛날 모델이나 최신 모델이나 최대 4개까지는 보드가 지원하면 되는 듯합니다..
LSI쪽은 보드가 지원되면 무한개를 붙일수 있다라는 식입니다만 특별히 딱 정해진 문서는 없습니다..
제 머리속에는 1대의 시스템에는 최대 4개의 레이드 카드 장착 가능이다라고 머리속에 굳어져 있습니다..
( x8 raid 6 ) X 4
나머지 4개 hot spare
하드디스크 36개
raid 60 32개 : 용량 24개
hot spare 4개
용량은 전체의 2/3
이런 정도
만일 20개를 raid 6로 묶으면 하나가 탈락되었을 때 19개 디스크 전체를 읽어 디스크 하나를 리빌딩해야 합니다. 요즘 하드디스크 용량이 커져서 만일 8TB 하드디스크라면 19 X 8 = 155TB. 즉 155TB를 읽어들여 디스크 하나를 리빌딩한다는 이야기가 됩니다. 시간도 무척 오래걸리지만 그 많은 양을 읽는 중간에 URE(unrecoverable read error)가 생기면 골치 아파집니다. raid 5라면 데이터 일부를 잃게 되죠. raid 6라면 그렇지는 않지만 부담스러운 것은 마찬가지.
그래서 보통 대용량 하드디스크 갯수가 많으면 raid 6를 raid 60으로 만듭니다. 여러 뭉치의 raid 6로 나눈 뒤 그것을 다시 raid 0으로 묶는 것. raid 6 한 덩어리가 8개 이하가 되도록 관리. 만일 한 덩어리가 8개라면 문제 생겨 리빌딩할 경우 전체가 아니라 7개만 읽어 디스크 하나를 리빌딩하면 됨.
큰 용량이 아니라 2TB 짜리 10개 정도를 묶는다면 raid 60까지 필요할 것 같지는 않고 그냥 raid 6 한 덩어리로 묶어도 괜찮을 듯.
디스크 갯수가 적은 경우에는 SSD가 아닌 HDD 사용시는 그게 그거입니다.
6G SAS 8포트 모델만 해도 SAS 대역폭이 4800MB/sec 정도 되니까 대역폭으로는 충분합니다.
그런데 6G SAS 전기 모델은 800MHz 싱글프로세서에 PCIe 2.0 x8
디스크 갯수가 많은 경우 프로세서 성능도 딸리고 PCIe 대역폭이 딸림
6G SAS 후기모델 800MHz 듀얼프로세서 PCIe 3.0 x8
양호
12G SAS : 1.2GHz 듀얼프로세서 PCIe 3.0 x8
아주 좋음. 12G SAS 근래 모델은 PowerPC 프로세서 대신 ARM 프로세서를 쓰는 것들도 있는데 전력 소모량은 줄었지만 성능은 비슷함.
SSD 아닌 6G SAS 하드디스크만 쓰는 경우에도 디스크 갯수가 많으면 12G SAS 콘트롤러가 좀 낫습니다.