강영준2C 2016-08

참고하세요
https://developer.nvidia.com/gpudirect

박문형 2016-08

한 시스템에 타이탄/테슬라/쿼드로 2/4/6/8 설치 가능한 한 개의 시스템은 나온지 오래되었습니다.

하셀호프 2016-08

늘어날수록 기하급수적으로 비싸지 않나요
gpu 2개 설치하는 시스템은 저렴하지요.
그래서 좀 저렴하게 꾸며 보려한다면 말입니다.

강영준2C 2016-08

참고로 해당 기능을 지원하는 네트워크 카드가 있어야됩니다.

하셀호프 2016-08

infiniband 카드를 말하네요. 이거 그다지 비싸지 않은 것으로 나오는데요.

겨울나무 2016-08

굳이 1070 1080 게임용 카드로 하는 이유를 모르겠네요. 최소 쿼드로 이상급으로 하는게 맞는거같은데.

박문형 2016-08

돈이 문제죠..

저런 GPU최상급으로 8개 정도 달면 돈나가는게 장난 아닙니다.

쿼드로 K6000이 다나와가로 800만원쯤 할텐데 8개면 거의 6400만원 돈을 비디오카드에만 써야 합니다..

그리고 쿼드로 테슬라등의 카드는 기술지원이 중요한데 국내에서는 엔비디아 코리아가 지정한 업체에 enduser 등록을 하고

견적 받아서 구매한 제품만 기술지원을 해줍니다.


해외에서 구매한 제품은 엔비디아코리아에서는 절대 지원해주는 것이 없습니다.

하셀호프 2016-08

밑에 nshhsn님꼐서 질문하신 내용때문에요.
그러니까 deep learning 시스템을 구축한다고 했을때
1080 두개 들어가는 시스템 2개 혹은 3개 이상 연결해서 구축하는 경우 말입니다.
그냥 computing power를 최대 얻고자 한다면 말입니다.

박문형 2016-08

문제는 GPU카드를 많이 달아서만 되는게 아니고

GPU카드를 콘트롤할 OS와 언어등을 다 공부해야 한다는 점이죠..

엔비디아에서는 CUDA를 이야기 하는데..

이게 버젼이 여러개 있는데 각버젼별로 호환이 안되기에 일일히 다 배워야 한다네요..

옛날에 엔비디아코리아는 국내 비디오카드 제조업체에 칩공급및 기술지원을 했지만

지금 엔비디아코리아에서 중요하게 생각하는 것은 큰 대학안에 CUDA 교육센터및 세미나를 하는 것입니다..

프로그래머가 있어야 자기네 하드웨어를 팔아먹을수 있거든요..

하셀호프 2016-08

현재 텐서플로우 오픈된거 쓰려는 것이니까 그거에 호환되는 CUDA 버전과
또한 역시 호환되는 하드웨어를 찾아야 하겠지요. 일단 compute compatibility
3,5이상이라는 정보외에 다른 조건이 있는지 모르겠에요.
일단 gtx 950같은 것으로 테스트해 볼 필요가 있을 것 같네요.

박문형 2016-08

https://en.wikipedia.org/wiki/CUDA

강영준2C 2016-08

그냥 인피니밴드가 아니고
Peer to Peer Direct PCIe를 지원하는 최신 카드여야됩니다.

제가 알기로는 멜라녹스 ConnectX-4 이상부터 지원하는걸로 알고있습니다
고가이죠...

하셀호프 2016-08

대강만 계산하면 1070*2 = 200만원, 멜라녹스30만, 시스템 20만
한 250만정도에 가능해 보이네요.
4개면 천만원정도네요. 비슷한가요?

박문형 2016-08

시스템이 아무래 모해도 PCIe 16X 2개 이상 붙어야 할텐데..

시스템에 들어갈 메모리랑 씨피유는 ??

시스템당 200만원쯤 넣어야 하지 않을까요??

멜라녹스카드 견적은 받아봐야겠지만 국네 멜라녹스 총판 가격 무시 못합니다.

근데 시스템 2대 3대 붙여놓아도 무슨 OS로 돌리고 무슨 프로그램이 돌아가야 하죠??

하셀호프 2016-08

지금 계산은 퇴역한 델 듀얼 슬롯 54xx  시스템으로 잡았구요.
램은 ecc ddr2로 최대한 저렴하게 잡았구요.
os는 리눅스구요 플그램은 텐서 플로우구요.

박문형 2016-08

만들수는 있겠지만

전기는 전기대로 먹고
성능은 안 나와주고
GPU에 맞는 리눅스랑 서버에 맞는 리눅스랑 버젼 갭이 크고

PCIe 1.0 버젼의 보드와 PCIe 3.0 버젼의 GPU카드는 어디까지 호환이 될지 모르겠습니다.

송진현 2016-08

제 생각인데요..
차라리 퇴역하는 비트코인 머신하나를 구입하시는것이.. 어떠신가요...

하셀호프 2016-08

비트 코인은 진짜 수명을 다했을텐데 조금 꺼려집니다.

하셀호프 2016-08

How To Build and Use a Multi GPU System for Deep Learning
http://timdettmers.com/2014/09/21/how-to-build-and-use-a-multi-gpu-system-for-deep-learning/

좀더 찾아 보아야 할 것같습니다. 멜라녹스 이야기는 여기도 나오는데
2014년 기사네요.

강영준2C 2016-08

딥러닝이라..

GPU 4개 다시려면
그냥 2011 사서 쓰세요
x8 5개 까지도 되니

http://www.asrockrack.com/general/productdetail.asp?Model=EPC612D8A#Specifications

아님 듀얼 2670 쓰시는 방법도 있습니다.
저는 듀얼 2670에서 싱글2670으로 넘어왔습니다..

하셀호프 2016-08

한 시스템에 gpu를 여러개 설치하는 것과 두개 이상의 시스템에
gpu를 하나씩 설치해서 연결하는 것은 또 다른 새로운 도전입니다.
말씀하신 gpu 4개짜리를 2개 혹은 3개로 점점 늘일 수도 있으니까요
각 시스템에 gpu 한개씩 설치해서 2 시스템을 연결하는 것이 첫 단계로 생각됩니다.
사실 이런 시스템은 상당한 성능을 가질 것이고 google이 무료로 제공할리는 없을 것
같기두 하구요.
pcie 2.0하고 pcie 3.0하고 성능차이가 별로 없다는 글도 있네요.
지금 고려하는 시스템이 pcie 2.0이고 멜라녹스를 사용하지 않은 상태에서
MPI 시스템도 작동을 한다고 하네요. 성능 저하가 어느정도인지도 궁금하네요.

nshhsn 2016-08

AWS의 GPU instance로 네트워크 이용해서
구성 해 보시고 시스템을 구축하시면 어떨까요?
아직 네트워크로 텐서플로우 연결이 검증이 잘 안되었으니까요
구현 해 보고 시스템을 구축하시는 것도 좋을것 같습니다.

저는 AWS 쪽으로 가려고 하고 있습니다.
사려니까 너무 비싸고 관리가 어려울 것 같고
실제로 구현 하려면 시간이 좀 필요하겠지만
한번 구현해 놓으면 필요할 때 늘렸다가 줄였다가 하면서
잘 쓸 수 있을 것 같습니다.

Spot instance도 매력적이고요

돌아온푸우 2016-08

암호화폐 코인쪽 둘러보시면, 메인보드에 pcie 6개 있는 메인보드를 주력으로 많이 사용하고 있습니다.
아니면 pcie하나를 3개로 뻥튀겨주는 카드도 있고요.
대역폭의 문제가 있을거 같기는 한데, 채굴쪽은 괜찮은 모양입니다.

http://www.asrock.com/MB/Intel/H97%20Anniversary/index.kr.asp
http://www.amazon.com/PCI-E-Switch-Multiplier-Expander-Expansion/dp/B01ERXUEOM/ref=sr_1_1?s=pc&ie=UTF8&qid=1472305967&sr=1-1&keywords=pcie+multiplier
http://www.amazon.com/Fixable-Adapter-Flexible-Extension-Connector/dp/B00IMYODGS/ref=sr_1_3?s=pc&ie=UTF8&qid=1472305997&sr=1-3&keywords=pcie+riser

김동수P 2016-08

NVIDIA카드로 CUDA 사용해서 구현하신다면 GPUDirect RDMA 검색하셔서 자료 찾아보시면 됩니다.
그리고 인피니밴드를(그것도 최신 카드들을) 사용하지 않는다면, 대역폭과 레이턴시가 문제가 되어서 전체적인 성능이 확 떨어집니다.
이 떨어진다는게 몇% 떨어진다는게 아니라, 레이턴시 문제 때문에 병렬시스템 구성이 노드 1개만 달랑 떼어낸 싱글시스템보다 느린 경우가 자주 발생합니다.
문제는 인피니밴드 사용하실 경우(대부분의 레퍼런스가 멜라녹스에서 나옵니다) 비용이 꽤 문제가 되는데.. 왜냐면 대충 아래의 그림과 같이 구성해야 하기 때문입니다.
http://www.cotsjournalonline.com/files/images/2947/cots1304_ge5_large.jpg

nshhsn 2016-08

엄청 비싸 보이네요