언젠가는 2021-05

1. 전에도 말씀 드렸지만, 단순히 이게 낫다 저게 낫다 비교할게 아니고, 상황에 맞춰서 쓰셔야 합니다.
비행기 탈때도 있는거고, 기차 탈때도 있는거고, 자전거 탈때도 있는거고, 걸어 갈때도 있죠.
NFS는 천만원 정도에 백TB 쓰실수 있을거구요,
NFS+DAS 확장은 수천만원 정도에 수백TB 쓰실수 있을겁니다.
GPFS는 사이즈가 매우 큽니다. 제대로 쓰시려면 PB단위, 서버 여러대, 클라이언트 수백대, 예산을 억소리 하셔야 합니다. 물론 작게 갈순 있겠지만, 닭 잡는 데 소 잡는 칼을 쓰는 거겠지요.

2. 파일기반 분산파일시스템은 GPFS/Lustre/Gluster/Ceph이 있습니다.
GPFS는 closed source이고, Lustre/Gluster/Ceph는 open source입니다.
GPFS의 소프트웨어는 IBM이 만들고, 장비는 IBM, DDN, HPE 등에서 만들어서 솔루션으로 팝니다. (이부분은 제가 사본적이 없어서 확실하진 않습니다.)
Lustre의 소프트웨어는 DDN이 만들고, 장비는 DDN, HPE, Dell, Netapp, AWS 등에서 만들어서 솔루션으로 팝니다.
어느쪽이던 분산파일시스템은 대부분 무료로 사용할수 없습니다. 코드가 무료인 경우는 있지만, 제대로 셋업하고 관리하는건 개인이 하지 못하기 때문에, 서포트 비용이던 솔루션 비용이 들어갈겁니다.

3. bangCH님의 예산이나 요구사항을 알지 못하니 정확히 무엇이 최선인지 말씀드릴수는 없지만, GPFS는 쉽게 건드릴만한 놈이 아닙니다. 소규모 클러스터 에서는, 안정적으로 하실려면 2U~4U 스토리지 서버에 고용량 하드를 hardware raid로 때려박고, 용량이 더 필요하면 DAS로 확장 하신 후, NFS 쓰시는게 정답입니다. all flash로 하시고, raid card, nic 좋은거 끼워두고, 캐시 추가해 주시면, 어지간한 부하는 충분히 버팁니다. 대규모 클러스터라면 GPFS를 쓰시되 예산도 쓰시죠.

bangCH 2021-05

비교하는게 아닌 상황에 맞춰 써야된다는것을 신경쓰겠습니다.
답변 정말 감사드립니다.

Volluto 2021-05

Lustre는 개인이 충분히 구축해서 사용 가능 합니다만,
최소 서버가 4대 이상은 써야 어느 정도 성능이 나옵니다.
분산파일 시스템은 용량도 크고, 클라이언트도 많아야 전체 성능이 좋은 구조 입니다.
GPFS는 이제 Spectrum Scale로 알아보시면 되고요.
IBM에서 예전에 GPFS랑 장비랑 같이 팔았는데, 이제 솔루션만 거의 판매하고 있습니다.

서버 한 두대에서 Lustre하면 일반 NFS보다 성능이 훨씬 더 안나옵니다. 구조자체가 그래요.

NGC 2021-05

꼭 그렇진 않았습니다.
NFS가 속도가 빠른 프로토콜이 아니라서...
서버 2-3대로만 lustre구성해도 거의 linerate로 대역폭이 나오긴 했습니다.

bangCH 2021-05

인피니밴드로 100G로 NFS하면 괜찮나요 ?? 근데 비용이 많이들지만...

Volluto 2021-05

Lustre가 MDS로 먼저 메타정보를 받고 OSS로 가서 데이터를 받아오는 구조라,
데이터가 큰 경우는 그렇게 해도 이점이 있는데, 데이터가 작고 I/O가 빈번한 구조에서는 속도가 상당히 안 나옵니다.
말 그대로 어떤 용량을 주로 쓰느냐에 따라 달라지는건 맞습니다.

Volluto 2021-05

bangCH님
NFS over RDMA 로 IB로 쓰는 경우 구성은 간단해지는 건 맞고, 속도도 빨라집니다.
그런데 괜찮다는 말이 어떤 의미인가요? IT에서 그렇게 추상적인 용어는 쓰지 않습니다.

bangCH 2021-05

예 추상적인 용어 쓰지않겠습니다. 답변 너무 감사드립니다.!!!!!

박문형 2021-05

꼭 저 솔류션이 필요한지??

국내 저 솔류션을 사용하는 사이트와 그 사이트 들의 시스템 사양이 어떠한지??

일반 업체에서 마니 사용하는지??

제가 보기에는 어디 연구소에서 쓰거나 이론만 있는 그런 솔류션 같아 보입니다..

IBM은 라이센스로 시작해서 라이센스로 끝나는 회사라고 생각합니다.. (돈만 무지무지 들어가는)

bangCH 2021-05

자료수집해서 DAS & NFS가 우위다 라는것을 할려는데 GPFS는 알아가는데요...  GPFS가 인프라 규모가 클수록 유리하네요

박문형 2021-05

https://repository.kisti.re.kr/bitstream/10580/8052/1/2007-103%20GPFS-MC%EA%B5%AC%EC%B6%95%EC%A7%80%EC%B9%A8%EC%84%9C.pdf

https://sites.google.com/site/ibmsystemssoftware/home/availability/general-parellel-file-system

늪에가다 2021-05

1. GPFS와 DAS & NFS 비교하는데 NFS &DAS 가 내세울 장점같은게 있을까요 ????
.GPFS - 공유파일시스템
      - Fabric Switch(Fiber)를 통한 Shared Disk 환경으로 많이 구성합니다.
        Network를 통해서도 접근 가능 합니다.(설명이 길어 질 것 같아서 상세는 패스합니다)
      - 파일공유가 필요한 시스템에 많이 사용합니다. Oracle RAC, WAS 등. 기업에서 무지 많이 씁니다.
      - 속도는 구현 방법에 따라 아~주 고성능 입니다.
     
.DAS  - Direct Attached Storage
      - 컴퓨터 노드에서 Host Adapter(SAS 등)로 바로 직결하는 경우입니다. 쉽게는 개인 컴퓨터에서 많이 보죠
      - 공유 안됩니다. (논리적으로 cifs, nfs 공유는 됩니다)
     
.NFS  - file 기반 공유파일시스템
      - 좋아졌다고 하지만 file 처리 오버헤드 경험이 있습니다. 즉, 성능이 들쭉날쭉 합니다.
      - pNFS, sun Exa 및 zfs어플라이언스용 nfs는 성능이 좋은 걸로 알고 있습니다.
         

2. GPFS는 실제로 무료로 쓸수 없고 IBM장비에만 사용할수 있는 것인가요 ?
라이센스 무지 비쌉니다. S/W만도 판매합니다. 지원하는 OS 환경은, AIX, Windows, Linux 입니다.
참고로, 어플라이언스 장비도 있습니다.

최종적으로 하고 싶은것을 질문하시면,
모두들 훨씬 나은 대답을 해드릴 수 있을 것입니다.

bangCH 2021-05

알고싶은 답변이네요 답변감사드립니다!

술이 2021-05

DAS도 양쪽노드 동일한 HBA나 어레이카드로 디스크 박스를 바라본다면 SAN처럼 공유방식을 사용하기도 합니다.
서버를 이용한 스토리지 구성할때 SAN을 사용하지 않고 DAS HBA를 대부분 사용합니다.
요즘 멀티노드를 그룹처럼 묶어서 스토리지풀을 구성하기에 SAN은 지원을 안하기에 DAS 방식으로 공유스토리지 만듭니다.

늪에가다 2021-05

DAS도 양쪽노드 동일한 HBA나 어레이카드로 디스크 박스를 바라본다면 SAN처럼 공유방식을 사용하기도 합니다.
-> 외장 디스크인클로저를 이용하는 방식을 말씀하시는 거죠. SCSI(SAS) Disk나 SSA 디스크 박스를 공유하는 형태죠.
그걸로 2노드 이중화를 많이 구성 했던 경험이 있습니다. 그런데 이것을 일반적으로 DAS라고 부르기에는 무리가 있을 것 같습니다.(더미  or  컨트롤러 등 데이터 오너쉽의 문제죠)
SAN 스위치 여부를 가지고 이야기 하신다면 DAS 일수 있겠네요.(fc 스토리지 포함)
 
서버를 이용한 스토리지 구성할때 SAN을 사용하지 않고 DAS HBA를 대부분 사용합니다.
-> 구성하는 산업영역이 다른거죠.  금융, 유통, 제조사 등 어느정도 규모 있는 기업은 메인시스템(단위 업무 말고)은 모두 SAN 기반입니다.
x86 단위 업무서버는 보통 DAS를 많이 쓰죠.

요즘 멀티노드를 그룹처럼 묶어서 스토리지풀을 구성하기에 SAN은 지원을 안하기에 DAS 방식으로 공유스토리지 만듭니다.
-> VSAN등 하이퍼바이저에서 많이 사용하는 스토리지풀은 분산스토리지죠. 네트워크 기반의.