유저들의 Home-Directory용으로 NFS 구축을 계획하고 있습니다.
용량은 300T 정도로 생각하는데 다른 구체적인 사양은 아직 생각중입니다.
예산이 충분(?)하면 스토리지 전문 벤더의 제품하나를 그냥 들여오면 아주 깔끔하게 해결될 것이나
대부분의 일이 그렇듯이 예산이 충분하지 않겠지요
도입 비용도 문제지만 최소 5년에서 10년까지 유지보수를 예상하다보니....
아무튼 이런저런 상황을 고려해서 서버 2대 (with HBA or Raid Card) + JBOD 박스의 구성을 생각하고 있는데
현재 계획을 세우는 과정에서 가장 걸리는 부분 중의 하나가 HA 구성입니다.
각 서버에 Raid-Card 2개씩 장착하고 Multi-Path 구성 후 전반적인 Disk 관리는 Raid-Card에 맡긴다.
또는
각 서버에 HBA 2개씩 장착하고 Multi-Path 구성 후 ZFS로 disk 관리를 한다.
위와 같은 시나리오에서 서버 / HBA or Raid-Card / Disk 장애 발생 시 예상되는 문제가 어떤것들이 있을까요?
필드에서 경험이 많으신 분들의 조그마한(?) 지식 공유 부탁드립니다.
리눅스 클러스터는 해보지 않아서 모르겠지만 윈도우 MSCS 클러스터에 파일저장소를 NFS 구성하면 HA는 단순하게 구성이 완료됩니다.
스토리지까지 이중화 하고 싶으면 스토리지 복제기능이 OS에 내장되어 있기 때문에 실시간으로 다른노드로 복제가 되니 스토리지 손실시에 복제 마스터를 바꾸면 금방 해결이 되는거고.
일반적인 노드에 한쪽 스토리지를 바라보는 CSV를 구성하는게 제일 심플한 방법입니다.
위 본문과 같은 구성은 레이드카드를 물릴게 아니라 HBA카드를 물려야됩니다.
그리고 각각의 풀을 클러스터 구성에 진입시키는건데 리눅스는 모르겠네요. FC 방식만 써봐서...
윈도우 저장소풀은 JBOD로 확장하기도 하고 멀티노드를 어레이 묶어서 그룹화 시킬수도 있고 계속 노드확장도 할수도 있습니다.
제일 단순한 방법은 SAN 이나 iSCSI 스토리지를 클러스터 구성하여 사용하는 방법입니다.
1안 리눅스클러스터구성후 NAS 서비스 ON
HW구성 : 서버2대 HBA 장착 ME4048+엔쿨루저추가
2안 R740(풀디스크)+MD1400추가해서 300TB 나올떄까지 추가 동일박스2개 구성 그리고 각각 NAS 서비스 온 및 서버끼리 데이터 동기화해서 복제
1안은 클러스터고 2안은 똑같은시스템2개를 동시에온하는거고 여기서 장애율은.. .. 둘다 장단점이있을거같네요.
전 참고로 델을 하기에 델기준으로 적었습니다.
client는 linux만 고려하여 nfs를 제외한 smb같은 다른 protocol은 필요없습니다.
스토리지 박스를 자체 컨트롤러(with Raid & Management)가 있는 제품을 고려하면
SAS, SAN/FC 또는 iScsi로 multi-path를 구성하고 컨트롤러 장애시 그냥 on-line 교체하면 되겠지만
컨트롤러가 달린 스토리지의 유지보수 비용(10년을 생각하면...)이 만만치 않으리라 생각해서 JBOD 박스를 생각하고 있습니다.
아니 예산만 충분하면 그냥 NAS Appliance를 하겠지만... 하.....
클러스터로 처리하는게 아닌 이상 까딱하면 Storage 도입하고 이걸 2대의 서버로 공유하는 간단한 구성보다 더 비쌀 수 도 있습니다
아마도 대략적인 카드 모델은 정하셨을 듯하고 그 카드를 공급하는 업체에게 구성은 되는지 문제 생기면 기술지원이 되는지 부터 알아보셔야 할 듯합니다..
LSI SAS 레이드 카드 중에 HA전용 모델이 있던 것으로 기억하고 있으며
잘 아시겠지만 LSI는 국내에서 문제 해결이나 기술지원을 받기가 쉽지 않습니다..
https://www.abacus.cz/prilohy/_5048/5048798/LSI_PB_SyncroCS_9271-8i.pdf
https://www.storagereview.com/review/lsi-syncro-cs-ha-das-storage-overview
그런 면에서는 비싸더라도 스텐드 얼론에 리던던트 레이드 모듈이 있는 검증된 외장형 장비로 가는게 맞다라고 생각합니다..
이중화는 말씀하신대로 어댑터는 multipath, 서버간 pacemaker 로 구성하면 될듯 싶고요.
문제는 jbod박스(디스크드로워)의 신뢰성이죠. 장애시 부품 조달도 문제이고요.