안녕하세요.
딥러닝 서버 3대 정도에 연결할 스토리지? 나스?를 알아보는 중입니다.
서버 별로 도커를 설치하여 여러명이 사용중입니다.
컨테이너를 거의 가상환경 처럼 사용하다 보니 컨테이너 용량이 500GB를 넘어가고 하드 1개(4TB)로는 감당이 안되기 시작했습니다.(OS는 SSD에 설치했습니다)
더 중요한건 여러명이 작업을 돌리면 디스크 IO에 문제가 생기는지 CPU, RAM, GPU 자원은 남는데 프로그램은 잘 동작하지 않는 상황이 발생하곤 했습니다.
하드웨어 RAID는 안정성, 관리의 어려움,설치 공간 부족으로 제외하고 NAS를 알아보던 중에서 ISCSI를 사용하면 저희가 원하는 기능이 구현될거 같아 질문드립니다.
제가 그린 구상도는 ISCSI가 되는 NAS를 구매하여 서버 별로 각각 15TB씩(3대 총 45TB) 마운트 시켜서
그 공간에 도커, 도커 컨테이너, 이미지 등을 설치하여 사용하면 어떨까 합니다.
네트워크도 10G로 구성하면 하드 쓰는것 보다 훨씬 빠르고 SSD cache를 이용하면 쓰기 속도도 괜찮을거 같습니다..
3개의 서버에서 서버 별로 4~5명이 작업을 돌리고 항상 풀로 작업하는게 아니어서 서버 별로 각각 500MB/s 정도만 읽기 쓰기가 보장돼도 좋을거 같습니다.
예산의 문제로 QNAP이나 Synology 같은 NAS가 관심이 가는데 이정도 성능을 뽑아줄 수 있을까요?
NAS와 하드 합쳐서 1600만원 정도 생각 중인데 가능할까 궁금합니다..
어느정도 스팩의 NAS면 가능할까요?
혹시나 이렇게 사용하신 분 있으실까요?
프로비져닝이라고 15테라를 주지만 실제 할당은 그보다 적게하고 그이상 쓸경우만 15테라까지 할당합니다
평소에는 20테라만 있어도 됩니다
다른 인터넷 업체도 수만 수십만에게 1테라를 줄 수 있는것도 프로비져닝 때문입니다
나스에도 그런 기능이 있나요? ISCSI에 맞게 설정 가능할까요?
500메가이상 속도가 필요하시면 시놀이랑 큐냅 홈피들어가서셔 스펙나오는데 거기에
전송속도 나옵니다 그걸 참고하세요
큐냅이 아마존기준 10g지원 성능좋은게 몇백만원인걸로 알고있습니다
저희 서버가 조립이라 레이드 카드도 사야하고 하드를 추가로 설치할 수 있는 구조가 아니어서 레이드는 고려하지 않습니다.
레이드가 아니면 단일 볼륨으로는 IO 문제가 계속 생길거 같고요...
진짜 문제는 서버별 500MB/s 의 스토리지 대역폭입니다. 네트웍은 문제가 안되는데 스토리지내에서 HDD로 이걸 구현하려면.... 불가능할 것 같고요.
SSD를 써야 할 것 같습니다. 문제는 용량이고요.
NAS의 쓰기 성능은 SSD cache를 활용하면 좋지 않을까 기대중 입니다.
어떤 용량과 어떤 대역폭을 말씀하시는지 제가 이해가 안가네요 ^^;;;;
억세스 할 때마다 레이턴시가 발생하니..
스토리지
SuperMicro 4U
E5-2643 v3 x 2
RAM 64GB
Controller LSI 9360-8i + 12G SAS Expender + Cachecade 256G SSD
12G SAS 8TB X 14개 RAID 50 + 2개 총 16개 = 800~900만원
용량 56TB
10G SFP+
FREENAS + ZFS + iSCSI
10G SFP+ 2port x 2장 (티밍 가능하면)
공용서버
Dell T7920
제온 플레티넘 6173m x 2ea
MVME 삼성 970 pro 1TB x 8개 RAID0
RAM 256GB
VGA필요에 맞게..
10G SFP+ 2port (티밍 가능하면..)
대략 이정도면. 성능 충분하겠네요..
슈마에 FreeNAS가 괜찮은가요??
슈마도 고려중이긴 한데... OS 같은 관리적인 측면에서 어떤지 몰라서 고민중 입니다..
제가 혼자 쓸꺼면 FeeNAS를 하겠지만 공용이라.. 관리도 중요하거든요..
좋은 견적 감사합니다! 참고하겠습니다!
그 안에 들어있는
FREEBSD 커널엔진과 ZFS 때문에 사용하는 거죠..
FREEBSD는 LINUX 가 아닙니다.. UNIX 입니다.....
UNIX
LINUX
WINDOWS
이런 차이가 있으며.. 그 가치의 차이도 있습니다...
도커를 전적으로 사용하실 계획이시면 전체를 다시 구성하는게 더 좋으 수도 있습니다
조언 부탁드립니다 ^^