클라우드 상에서 클러스터 이용

   조회 46059   추천 1    

안녕하세요


클라우드 서비스를 어떻게 싸게 사용할까

하고 찾다 보니 클러스터 개념으로 사용하는게 있어서 소개드립니다.


http://star.mit.edu/cluster/


메인이 되는 컴퓨터 하나에서 spot instance가격을 체크해서

하위 instance를 활성화 해주는 개념인데요

현재는 $0.43 정도에 GPU 4개짜리 인스턴스를 사용 할 수 있네요

GPU를 40개 돌려도 한시간에 $4.3 밖에 안되네요

(생각해 보니 많이 쓰면 가격이 올라가서 인스턴스가 끊어 질 수 도 있겠습니다)


과거에 이미지 분류 머신러닝 대회에서 우승한 팀이 GPU 8개로 2주동안 돌려서

학습한 모델로 우승했다는 기사를 봤었는데요 (몇년 전 일 입니다.)

단순 계산으로 $288.96 정도면 위의 학습량을 할 수 있겠네요



써 놓고 보니 이걸 쓰는게 좋을지 GPU4개 붙인 컴퓨터를 조립해야 할지

고민이 됩니다.


짧은글 일수록 신중하게.
강영준2C 2016-08
유연성 + 통제를 위해 저는 하드웨어를 구축해서 씁니다...
클라우드는 입맞대로 하는거에 대해서 제약이 있는거 같에서요... (물론 클라우드 써보지않아서 모르는 추측성 발언입니다...)
     
nshhsn 2016-08
하드웨어는 어떻게 구성하셨나요?
Gpu를 4개 정도 달고 싶은데
집에 놓자니 소리랑 전기가 걱정이 되네요

돈보다 시간이 중요할 경우에는
클라우드도 괜찮은 선택이 될것 같습니다
마음대로 늘일 수 있으니까요
          
강영준2C 2016-08
저도 GPU 서버 집에 놔두는 사람입니다만
GPU 관련해서 이것저것 고민해봤습니다.

2cpu를 사용해서
16배속 4개를 쓸지
아님 1cpu를 사용해서
8배속 4개를 쓸지

전자의 경우는 2cpu 사이에 QPI가 있어서 GPU간 통신시 레이턴시 차이로 문제가 생길수도있습니다.
후자의 경우는 레이턴시는 일정하지만 16배속이 아닌 8배속이라는 거구요

일단 저 같은경우는
2670 하나로 16배속 두개 씁니다.
그리고 이후에 8배속 4개로 갈예정입니다.

16배속 급의 대역폭이 필요한 작업은 아닌거 같고
레이턴시가 더 중요할거 같에서입니다...

전 에어컨 24시간 틀어 놓는지라
소리는 별로 신경안쓰긴합니다만 (풀로드 해도 의외로 조용합니다.. RX480블로워쓰는데...)

문제는 전기네요
하이엔드 4개 돌리실려면
최소... 1200W급 파워는 있으셔야 겠네요 
저는 일단 두개 돌리는지라
1050W 파워로 돌리고 있습니다...


제목Page 3/3
2014-05   5257765   정은준1
2015-12   1782581   백메가
2024-09   2688   YJMODx영재…
2024-09   3255   YJMODx영재…
2024-09   3060   YJMODx영재…
2024-10   1930   YJMODx영재…
2024-10   2155   YJMODx영재…
2024-10   2503   YJMODx영재…
2024-10   2467   YJMODx영재…
2024-10   1947   YJMODx영재…
2024-10   1967   YJMODx영재…
2024-10   1997   YJMODx영재…
2024-10   1869   YJMODx영재…
2024-10   1813   컴퓨터신시야
2024-10   1715   YJMODx영재…
2024-10   1733   YJMODx영재…
2024-10   1942   YJMODx영재…
2024-10   2250   YJMODx영재…
2024-11   2197   YJMODx영재…
2024-11   2225   YJMODx영재…
2024-11   2282   YJMODx영재…
2024-11   3904   컴퓨터신시야
2024-11   3055   YJMODx영재…
2024-11   2625   YJMODx영재…
2024-11   2661   YJMODx영재…
2024-11   3019   YJMODx영재…
2024-11   3183   YJMODx영재…
2024-12   2037   YJMODx영재…
2024-12   2177   YJMODx영재…
2024-12   2561   컴퓨터신시야
2024-12   3556   YJMODx영재…
2024-12   2721   YJMODx영재…
2024-12   2484   YJMODx영재…
01-06   2510   YJMODx영재…
01-06   2518   YJMODx영재…
01-07   2726   YJMODx영재…
01-17   2188   YJMODx영재…
01-17   4042   YJMODx영재…
01-17   4357   YJMODx영재…
01-24   3740   YJMODx영재…
01-24   3830   YJMODx영재…
01-24   4110   YJMODx영재…
02-07   4297   컴퓨터신시야
03-21   730   컴퓨터신시야
03-24   206   YJMODx영재…
03-24   228   YJMODx영재…
03-24   677   YJMODx영재…
03-24   862   YJMODx영재…
03-24   873   YJMODx영재…
03-24   852   YJMODx영재…
03-24   1007   YJMODx영재…
03-24   1087   YJMODx영재…
04-01   643   YJMODx영재…
04-14   223   YJMODx영재…
10:59   61   JLCPCB한국
11:22   59   JLCPCB한국
12:02   68   JLCPCB한국