NFS HA 경험(?) 문의

윤건   
   조회 4254   추천 0    

유저들의 Home-Directory용으로 NFS 구축을 계획하고 있습니다.

용량은 300T 정도로 생각하는데 다른 구체적인 사양은 아직 생각중입니다.

예산이 충분(?)하면 스토리지 전문 벤더의 제품하나를 그냥 들여오면 아주 깔끔하게 해결될 것이나

대부분의 일이 그렇듯이 예산이 충분하지 않겠지요

도입 비용도 문제지만 최소 5년에서 10년까지 유지보수를 예상하다보니....

아무튼 이런저런 상황을 고려해서 서버 2대 (with HBA or Raid Card) + JBOD 박스의 구성을 생각하고 있는데

현재 계획을 세우는 과정에서 가장 걸리는 부분 중의 하나가 HA 구성입니다.


각 서버에 Raid-Card 2개씩 장착하고 Multi-Path 구성 후 전반적인 Disk 관리는 Raid-Card에 맡긴다.

또는

각 서버에 HBA 2개씩 장착하고 Multi-Path 구성 후 ZFS로 disk 관리를 한다.


위와 같은 시나리오에서 서버 / HBA or Raid-Card / Disk 장애 발생 시 예상되는 문제가 어떤것들이 있을까요?

필드에서 경험이 많으신 분들의 조그마한(?) 지식 공유 부탁드립니다.


짧은글 일수록 신중하게.
술이 2021-01
HA라고 하면 클러스터일거고 클러스터는 저장소 복제가 아닌 쉐어볼륨으로 노드간 이중화가 될겁니다.
리눅스 클러스터는 해보지 않아서 모르겠지만 윈도우 MSCS 클러스터에 파일저장소를 NFS 구성하면 HA는 단순하게 구성이 완료됩니다.
스토리지까지 이중화 하고 싶으면 스토리지 복제기능이 OS에 내장되어 있기 때문에 실시간으로 다른노드로 복제가 되니 스토리지 손실시에 복제 마스터를 바꾸면 금방 해결이 되는거고.
일반적인 노드에 한쪽 스토리지를 바라보는 CSV를 구성하는게 제일 심플한 방법입니다.
위 본문과 같은 구성은 레이드카드를 물릴게 아니라 HBA카드를 물려야됩니다.
그리고 각각의 풀을 클러스터 구성에 진입시키는건데 리눅스는 모르겠네요. FC 방식만 써봐서...
윈도우 저장소풀은 JBOD로 확장하기도 하고 멀티노드를 어레이 묶어서 그룹화 시킬수도 있고 계속 노드확장도 할수도 있습니다.
제일 단순한 방법은 SAN 이나 iSCSI 스토리지를 클러스터 구성하여 사용하는 방법입니다.
짱짱맨 2021-01
ZFS는 잘모르나 XFS도 500TB까진 지원한다고합니다 서버2대로구성하면 HA는 리눅스 클러스터 이용하실예정이신지요?

1안  리눅스클러스터구성후 NAS 서비스 ON
        HW구성 : 서버2대 HBA 장착 ME4048+엔쿨루저추가
 
2안 R740(풀디스크)+MD1400추가해서 300TB 나올떄까지 추가  동일박스2개 구성 그리고 각각 NAS 서비스 온  및 서버끼리 데이터 동기화해서 복제

1안은 클러스터고 2안은 똑같은시스템2개를 동시에온하는거고 여기서 장애율은.. .. 둘다 장단점이있을거같네요.

전 참고로 델을 하기에 델기준으로 적었습니다.
윤건 2021-01
서버는 Active-Standby, 스토리지는 Shared를 생각하고 있습니다.
client는 linux만 고려하여 nfs를 제외한 smb같은 다른 protocol은 필요없습니다.
스토리지 박스를 자체 컨트롤러(with Raid & Management)가 있는 제품을 고려하면
SAS, SAN/FC 또는 iScsi로 multi-path를 구성하고 컨트롤러 장애시 그냥 on-line 교체하면 되겠지만
컨트롤러가 달린 스토리지의 유지보수 비용(10년을 생각하면...)이 만만치 않으리라 생각해서 JBOD 박스를 생각하고 있습니다.
아니 예산만 충분하면 그냥 NAS Appliance를 하겠지만... 하.....
     
짱짱맨 2021-01
우선 예산이 얼마인진 모르겠으나.. 그 예산에서 하드웨어를 정하셔야할거같습니다 구성을 어떻게한다한들 제일 큰비중이들어가는 h/w 금액에 마춰야하니까요.
     
DarknessAng… 2021-01
본체 가격도 고려해야하지만, 저런 용량이니 디스크 가격이 더 비쌉니다

클러스터로 처리하는게 아닌 이상 까딱하면 Storage 도입하고 이걸 2대의 서버로 공유하는 간단한 구성보다 더 비쌀 수 도 있습니다
박문형 2021-01
제가 생각하기에는 국내 레이드 카드 수입 및 공급 업체에서 아마도 HA구성은 거의 경험해보지 못하지 않았을까 생각합니다..

아마도 대략적인 카드 모델은 정하셨을 듯하고 그 카드를 공급하는 업체에게 구성은 되는지 문제 생기면 기술지원이 되는지 부터 알아보셔야 할 듯합니다..

LSI SAS 레이드 카드 중에 HA전용 모델이 있던 것으로 기억하고 있으며

잘 아시겠지만 LSI는 국내에서 문제 해결이나 기술지원을 받기가 쉽지 않습니다..

https://www.abacus.cz/prilohy/_5048/5048798/LSI_PB_SyncroCS_9271-8i.pdf

https://www.storagereview.com/review/lsi-syncro-cs-ha-das-storage-overview

그런 면에서는 비싸더라도 스텐드 얼론에 리던던트 레이드 모듈이 있는 검증된 외장형 장비로 가는게 맞다라고 생각합니다..
늪에가다 2021-01
jbod 박스에 호스트 연결 채널(4채널) 및 패스스루 기능만 있으면 됩니다.

이중화는 말씀하신대로 어댑터는 multipath, 서버간 pacemaker 로 구성하면 될듯 싶고요.

문제는 jbod박스(디스크드로워)의 신뢰성이죠. 장애시 부품 조달도 문제이고요.


QnA
제목Page 850/5730
2014-05   5266651   정은준1
2015-12   1791551   백메가
2016-05   6242   박은선
2018-08   4095   삐돌이슬픔이
2011-05   8782   강삿갓
2019-10   6129   펜듀얼
2013-11   7038   김건우
2017-05   4382   이세규
2022-07   1760   싱국날강도
2017-05   4072   신은왜
2019-10   4965   Noname1
2021-01   3223   달리는붐봄
2024-03   1384   미담
2013-12   21171   김덕영
2015-04   4687   거니네
2019-10   3461   나파이강승훈
2024-03   1911   sam0712
2015-04   5202   신형
2015-04   4878   오리궁디
2013-12   7586   서울사람
2019-10   3826   나라뜨
2022-08   1731   황진우