1070 혹은 1080 두개씩 넣은 컴 2개를 엮어서 시스템을 만들려고 합니다.
이게 가능할까요
그러니까 1070 혹은 1080 4개를 한 시스템으로 사용하고 싶다는 것입니다.
이게 가능하다면 titan 같은 것으로 6개, 8개, 10개등등 만들수 있겠지요.
1070 혹은 1080 두개씩 넣은 컴 2개를 엮어서 시스템을 만들려고 합니다.
이게 가능할까요
그러니까 1070 혹은 1080 4개를 한 시스템으로 사용하고 싶다는 것입니다.
이게 가능하다면 titan 같은 것으로 6개, 8개, 10개등등 만들수 있겠지요.
참고하세요
https://developer.nvidia.com/gpudirect
gpu 2개 설치하는 시스템은 저렴하지요.
그래서 좀 저렴하게 꾸며 보려한다면 말입니다.
저런 GPU최상급으로 8개 정도 달면 돈나가는게 장난 아닙니다.
쿼드로 K6000이 다나와가로 800만원쯤 할텐데 8개면 거의 6400만원 돈을 비디오카드에만 써야 합니다..
그리고 쿼드로 테슬라등의 카드는 기술지원이 중요한데 국내에서는 엔비디아 코리아가 지정한 업체에 enduser 등록을 하고
견적 받아서 구매한 제품만 기술지원을 해줍니다.
해외에서 구매한 제품은 엔비디아코리아에서는 절대 지원해주는 것이 없습니다.
그러니까 deep learning 시스템을 구축한다고 했을때
1080 두개 들어가는 시스템 2개 혹은 3개 이상 연결해서 구축하는 경우 말입니다.
그냥 computing power를 최대 얻고자 한다면 말입니다.
GPU카드를 콘트롤할 OS와 언어등을 다 공부해야 한다는 점이죠..
엔비디아에서는 CUDA를 이야기 하는데..
이게 버젼이 여러개 있는데 각버젼별로 호환이 안되기에 일일히 다 배워야 한다네요..
옛날에 엔비디아코리아는 국내 비디오카드 제조업체에 칩공급및 기술지원을 했지만
지금 엔비디아코리아에서 중요하게 생각하는 것은 큰 대학안에 CUDA 교육센터및 세미나를 하는 것입니다..
프로그래머가 있어야 자기네 하드웨어를 팔아먹을수 있거든요..
또한 역시 호환되는 하드웨어를 찾아야 하겠지요. 일단 compute compatibility
3,5이상이라는 정보외에 다른 조건이 있는지 모르겠에요.
일단 gtx 950같은 것으로 테스트해 볼 필요가 있을 것 같네요.
Peer to Peer Direct PCIe를 지원하는 최신 카드여야됩니다.
제가 알기로는 멜라녹스 ConnectX-4 이상부터 지원하는걸로 알고있습니다
고가이죠...
한 250만정도에 가능해 보이네요.
4개면 천만원정도네요. 비슷한가요?
시스템에 들어갈 메모리랑 씨피유는 ??
시스템당 200만원쯤 넣어야 하지 않을까요??
멜라녹스카드 견적은 받아봐야겠지만 국네 멜라녹스 총판 가격 무시 못합니다.
근데 시스템 2대 3대 붙여놓아도 무슨 OS로 돌리고 무슨 프로그램이 돌아가야 하죠??
램은 ecc ddr2로 최대한 저렴하게 잡았구요.
os는 리눅스구요 플그램은 텐서 플로우구요.
전기는 전기대로 먹고
성능은 안 나와주고
GPU에 맞는 리눅스랑 서버에 맞는 리눅스랑 버젼 갭이 크고
PCIe 1.0 버젼의 보드와 PCIe 3.0 버젼의 GPU카드는 어디까지 호환이 될지 모르겠습니다.
차라리 퇴역하는 비트코인 머신하나를 구입하시는것이.. 어떠신가요...
http://timdettmers.com/2014/09/21/how-to-build-and-use-a-multi-gpu-system-for-deep-learning/
좀더 찾아 보아야 할 것같습니다. 멜라녹스 이야기는 여기도 나오는데
2014년 기사네요.
GPU 4개 다시려면
그냥 2011 사서 쓰세요
x8 5개 까지도 되니
http://www.asrockrack.com/general/productdetail.asp?Model=EPC612D8A#Specifications
아님 듀얼 2670 쓰시는 방법도 있습니다.
저는 듀얼 2670에서 싱글2670으로 넘어왔습니다..
gpu를 하나씩 설치해서 연결하는 것은 또 다른 새로운 도전입니다.
말씀하신 gpu 4개짜리를 2개 혹은 3개로 점점 늘일 수도 있으니까요
각 시스템에 gpu 한개씩 설치해서 2 시스템을 연결하는 것이 첫 단계로 생각됩니다.
사실 이런 시스템은 상당한 성능을 가질 것이고 google이 무료로 제공할리는 없을 것
같기두 하구요.
pcie 2.0하고 pcie 3.0하고 성능차이가 별로 없다는 글도 있네요.
지금 고려하는 시스템이 pcie 2.0이고 멜라녹스를 사용하지 않은 상태에서
MPI 시스템도 작동을 한다고 하네요. 성능 저하가 어느정도인지도 궁금하네요.
구성 해 보시고 시스템을 구축하시면 어떨까요?
아직 네트워크로 텐서플로우 연결이 검증이 잘 안되었으니까요
구현 해 보고 시스템을 구축하시는 것도 좋을것 같습니다.
저는 AWS 쪽으로 가려고 하고 있습니다.
사려니까 너무 비싸고 관리가 어려울 것 같고
실제로 구현 하려면 시간이 좀 필요하겠지만
한번 구현해 놓으면 필요할 때 늘렸다가 줄였다가 하면서
잘 쓸 수 있을 것 같습니다.
Spot instance도 매력적이고요
아니면 pcie하나를 3개로 뻥튀겨주는 카드도 있고요.
대역폭의 문제가 있을거 같기는 한데, 채굴쪽은 괜찮은 모양입니다.
http://www.asrock.com/MB/Intel/H97%20Anniversary/index.kr.asp
http://www.amazon.com/PCI-E-Switch-Multiplier-Expander-Expansion/dp/B01ERXUEOM/ref=sr_1_1?s=pc&ie=UTF8&qid=1472305967&sr=1-1&keywords=pcie+multiplier
http://www.amazon.com/Fixable-Adapter-Flexible-Extension-Connector/dp/B00IMYODGS/ref=sr_1_3?s=pc&ie=UTF8&qid=1472305997&sr=1-3&keywords=pcie+riser
그리고 인피니밴드를(그것도 최신 카드들을) 사용하지 않는다면, 대역폭과 레이턴시가 문제가 되어서 전체적인 성능이 확 떨어집니다.
이 떨어진다는게 몇% 떨어진다는게 아니라, 레이턴시 문제 때문에 병렬시스템 구성이 노드 1개만 달랑 떼어낸 싱글시스템보다 느린 경우가 자주 발생합니다.
문제는 인피니밴드 사용하실 경우(대부분의 레퍼런스가 멜라녹스에서 나옵니다) 비용이 꽤 문제가 되는데.. 왜냐면 대충 아래의 그림과 같이 구성해야 하기 때문입니다.
http://www.cotsjournalonline.com/files/images/2947/cots1304_ge5_large.jpg