안녕하세요, HPC 분야의 연구실에 대학원생으로 재학중인 학생입니다.

연구실에 보유중인 클러스터에 스토리지를 붙히려고 하는데 

고려할 사항이 많아 의견을 들어보고 싶어 질문드립니다.

연구실에 보유중인 클러스터는 마스터 포함 약 20대 정도의 노드이고

추가적으로 워크스테이션을 열두어대 보유하고 있습니다.

클러스터의 노드들 끼리는 IB 네트워크 (56Gbps) 를 사용하고 워크스테이션들은 1GbE를 사용하고 있습니다.

마침 마스터를 갈아내야하고 스토리지를 확장해야할 시기라서 구축을 어떻게 하면 좋을지 고민이 됩니다.

일단 IB 대역폭이 굉장히 큰데 IO performance가 떨어져서 이 부분을 해결하고 싶습니다. 

저희 연구의 특성상 가끔씩 write intensive한 작업을 할 때가 있어서,

IB의 최대 대역폭까지는 아니더라도 반 이상 정도는 됐으면 좋겠습니다.

가용 용량으로는 100TB 이상을 확보하고 싶은데 이 정도 용량의 올플래시 서버를 구축할 정도의 예산은 못 됩니다.

앞으로 최대한 예산을 확보해 해봐야 마스터노드 구축(+새로운 스위치 허브)과 함께 

16베이 이상 NAS서버 + 14TB SATA 하드 12~16개 NVMe 1TB 2~4장 정도가 한계가 아닐까 싶습니다.

이마저도 1년 안에 다 확보가 될지는 모르겠습니다.

두번째로는 웍스에도 새로 만들 스토리지를 네트워크 마운트해서 데이터 관리를 좀 용이하게 했으면 좋겠습니다.

데이터를 여기저기 보관하다 보니 중복되거나 합칠 때 머리아픈 일이 많더군요. 10GbE로 스토리지에 연결할 계획입니다.

(1) DAS vs NAS?

보이는 기종들 중에 4U 정도되는 큰 섀시들이 보이던데 여기에 하드를 쭉 꽂고 활용하는 방안과

마스터에 NAS를 붙혀서 사용하는 방안을 생각하고 있습니다. 예산으로 보면 마스터를 교체하는걸 생각해서

DAS가 싸보이는데 NAS로 가는 방향도 여러가지 이점이 있을거 같습니다 (스냅샷이나 여타 기능?). 

지금 현재하는 작업을 보면 계산노드에서 작업을 하고 마스터는 어플리케이션 서버로 쓰이고, 

워크스테이션은 스케줄러 시스템에 호스트로 등록되어있지 않습니다. 위에 써둔대로 모든 컴퓨팅 자원들을

하나의 스토리지에 연결한다고 생각하면 어떤 방면이 좋을까요?

(2) NVMe 캐시/RAID?

NAS/DAS 어떤 것을 하든 모두 IO성능을 위해 NVMe 캐시를 사용하려고 하는데요. 이 방면에 무지한지라,

NVMe 용량이나 NVMe 개수 대비 HDD 개수에 따른 IO성능의 scaling이 어떻게 되는지 전혀 감이 없습니다.

앞서 말씀드린대로 sustained write 성능이 IB 네트워크의 대역폭의 절반 정도는 되면 좋을거 같아 

RAID나 NVMe/HDD 어떻게 구성하는게 좋을지 조언 부탁드립니다.

(3) 10GbE NIC와 스위치 허브?

10GbE 내장 메인보드도 있지만 그렇지 않은 워크스테이션도 있어서 NIC를 새로 구입하려고 하는데,

10GbE NIC들도 종류와 가격대들이 굉장히 다양하더군요. 저희 작업을 생각하면 latency가 작은게 좋긴한데, 가격대 별로

latency들이 많이 차이가 날까요? 10G 스펙의 스위치 허브(>=16포트, L3)도 추천 부탁드립니다.

읽어주셔서 감사합니다.