딥러닝 서버 3대에 연결할 NAS 어느정도 스팩이면 될까요?(ISCSI? SAN?)

MOONL   
   조회 4789   추천 0    

 안녕하세요.

딥러닝 서버 3대 정도에 연결할 스토리지? 나스?를 알아보는 중입니다.

서버 별로 도커를 설치하여 여러명이 사용중입니다.

컨테이너를 거의 가상환경 처럼 사용하다 보니 컨테이너 용량이 500GB를 넘어가고 하드 1개(4TB)로는 감당이 안되기 시작했습니다.(OS는 SSD에 설치했습니다)

더 중요한건 여러명이 작업을 돌리면 디스크 IO에 문제가 생기는지 CPU, RAM, GPU 자원은 남는데 프로그램은 잘 동작하지 않는 상황이 발생하곤 했습니다.

하드웨어 RAID는 안정성, 관리의 어려움,설치 공간 부족으로 제외하고 NAS를 알아보던 중에서 ISCSI를 사용하면 저희가 원하는 기능이 구현될거 같아 질문드립니다.


제가 그린 구상도는 ISCSI가 되는 NAS를 구매하여 서버 별로 각각 15TB씩(3대 총 45TB) 마운트 시켜서

그 공간에 도커, 도커 컨테이너, 이미지 등을 설치하여 사용하면 어떨까 합니다.

네트워크도 10G로 구성하면 하드 쓰는것 보다 훨씬 빠르고 SSD cache를 이용하면 쓰기 속도도 괜찮을거 같습니다..

3개의 서버에서 서버 별로 4~5명이 작업을 돌리고 항상 풀로 작업하는게 아니어서 서버 별로 각각 500MB/s 정도만 읽기 쓰기가 보장돼도 좋을거 같습니다.


예산의 문제로 QNAP이나 Synology 같은 NAS가 관심이 가는데 이정도 성능을 뽑아줄 수 있을까요?

NAS와 하드 합쳐서 1600만원 정도 생각 중인데 가능할까 궁금합니다..

어느정도 스팩의 NAS면 가능할까요?

혹시나 이렇게 사용하신 분 있으실까요?

짧은글 일수록 신중하게.
맣맣 2020-10
15테라씩 3명이라고 꼭 45테라를 써야되는건 아닙니다
프로비져닝이라고 15테라를 주지만 실제 할당은 그보다 적게하고 그이상 쓸경우만 15테라까지 할당합니다
평소에는 20테라만 있어도 됩니다
다른 인터넷 업체도 수만 수십만에게 1테라를 줄 수 있는것도 프로비져닝 때문입니다
     
MOONL 2020-10
좋은 정보 감사합니다!
나스에도 그런 기능이 있나요? ISCSI에 맞게 설정 가능할까요?
          
맣맣 2020-10
시놀이나 큐냅 둘다 isci만들때 옵션으로 나옵니다
500메가이상 속도가 필요하시면 시놀이랑 큐냅 홈피들어가서셔 스펙나오는데 거기에
전송속도 나옵니다 그걸 참고하세요
큐냅이 아마존기준 10g지원 성능좋은게 몇백만원인걸로 알고있습니다
               
MOONL 2020-10
감사합니다! 참고하겠습니다
the촌놈 2020-10
각 서버에서 데이터를 공요할 것 아니면 굳이 NAS가 아니라 서버 로컬에 스토리지 영역을 확장하는 게 더 낫지 않을까요?
     
MOONL 2020-10
네.. 하지만 도커 컨테이너를 저희가 원하는 위치에 저장할 수 없어서 결국 레이드로 큰 볼륨을 만들어야 하는데...
저희 서버가 조립이라 레이드 카드도 사야하고 하드를 추가로 설치할 수 있는 구조가 아니어서 레이드는 고려하지 않습니다.
레이드가 아니면 단일 볼륨으로는 IO 문제가 계속 생길거 같고요...
          
the촌놈 2020-10
그렇군요. 그런데 여러 HDD를 단일볼륨으로 만드는 방법이 단지 별도의 RAID카드만 있는 건 아닙니다. S/W RAID라는 방법도 있습니다. 서버내에 공간이 없다면 이런걸 고민할 필요는 없지만요.
진짜 문제는 서버별 500MB/s 의 스토리지 대역폭입니다. 네트웍은 문제가 안되는데 스토리지내에서 HDD로 이걸 구현하려면.... 불가능할 것 같고요.
SSD를 써야 할 것 같습니다. 문제는 용량이고요.
               
MOONL 2020-10
레이드 카드뿐 아니라 허접한 케이스라서 하드 넣을 공간도 없습니다 ㅠㅠ
NAS의 쓰기 성능은 SSD cache를 활용하면 좋지 않을까 기대중 입니다.
gmltj 2020-10
용량이 커지면 대역폭도 중요할 것 같은데.....
     
MOONL 2020-10
댓글 감사합니다!
어떤 용량과 어떤 대역폭을 말씀하시는지 제가 이해가 안가네요 ^^;;;;
제온프로 2020-10
UTP는 광에 비하여 레이턴시기 길어서 빠릿빠릿 한 맛은 없습니다...
억세스 할 때마다 레이턴시가 발생하니..

스토리지
SuperMicro 4U
E5-2643 v3 x 2
RAM 64GB
Controller LSI 9360-8i + 12G SAS Expender  + Cachecade 256G SSD
12G SAS 8TB X 14개 RAID 50 + 2개    총 16개 = 800~900만원
용량 56TB
10G SFP+
FREENAS + ZFS + iSCSI
10G SFP+ 2port x 2장 (티밍 가능하면)


공용서버
Dell T7920
제온 플레티넘 6173m x 2ea
MVME 삼성 970 pro 1TB x 8개 RAID0
RAM 256GB
VGA필요에 맞게..
10G SFP+ 2port (티밍 가능하면..)

대략 이정도면. 성능 충분하겠네요..
     
MOONL 2020-10
좋은 견적 감사합니다!
슈마에 FreeNAS가 괜찮은가요??
슈마도 고려중이긴 한데... OS 같은 관리적인 측면에서 어떤지 몰라서 고민중 입니다..
제가 혼자 쓸꺼면 FeeNAS를 하겠지만 공용이라.. 관리도 중요하거든요..
좋은 견적 감사합니다! 참고하겠습니다!
          
제온프로 2020-10
FreeNAS가 좋다기보다는..
그 안에 들어있는
FREEBSD 커널엔진과 ZFS 때문에 사용하는 거죠..
FREEBSD는 LINUX 가 아닙니다.. UNIX 입니다.....

UNIX
LINUX
WINDOWS
이런 차이가 있으며..  그 가치의 차이도 있습니다...
epowergate 2020-10
그런거 하라고 있는게 csi 입니다.
도커를 전적으로 사용하실 계획이시면 전체를 다시 구성하는게 더 좋으 수도 있습니다
     
MOONL 2020-10
어떻게 구성하면 좋을까요?
조언 부탁드립니다 ^^


QnA
제목Page 2909/5715
2014-05   5191225   정은준1
2015-12   1724246   백메가
2020-09   4668   audacity
2015-01   6072   은빛단풍
2019-07   3300   김건우
2015-01   3886   김민철GC
2023-11   3296   블룽
2013-09   7831   Nicoffeine
2018-05   4450   라클린
2010-11   6815   오성기
2016-03   4748   PiPPuuP
2013-09   20071   1김In1
2017-03   3518   하쿠나마타…
2018-05   8007   비누귀신
2020-10   3125   백남억
2017-03   5843   백만스물하나
2020-10   2771   bangCH
2016-03   7148   다파라치아
2013-09   15898   막판대장
2015-01   4023   김윤상
2020-10   4467   petabyte
2019-08   3201   winner712