한 메인보드에 GPU 대량 설치 질문

네이쳐   
   조회 4319   추천 0    

현재 'WS C621E SAGE' 메인보드가 있습니다.

여기에 아래 그림과 같은 라이저를 이용해서 GPU를 16개 정도 설치를 하려고 합니다.

목적은 분자 모델 연산 이고, PCI express 전송 속도는 크게 중요하지 않습니다.

3060ti나 3070 정도로 구성하려고 하고, 가능하다면 더 많은 GPU 설치도 생각중입니다.

이렇게 많은 GPU를 연결해도 큰 문제 없이 작동 할까요??
짧은글 일수록 신중하게.
박문형 2021-09
만일 인식 안되거나 속도가 안나오거나 하면 책임은 누가 지나요??
     
네이쳐 2021-09
제가 지겠죠?? ㅠ

최대한 테스트 하면서 야금야금 늘려가야겠죠?

가능한 이야기이긴 한가요??
          
박문형 2021-09
저 제조사 보드에서 가능하느냐는 이야기니까

제조사 쪽에 문의해서 가능하다 아니면 이래서 안된다라고 확답을 받아 보시면 됩니다..
               
박문형 2021-09
개인적으로 보기에는 PCIe 16배속 카드로 딱 4개 입니다..

파워는 2000와트 리던던트 정도면 충분하다고 생각됩니다..
               
박문형 2021-09
한개의 시스템의 전반적인 크기가 필요하고

GPU 카드를 최대 몇개까지 생각하는지 알아야 하고

그에 따른 신호선들을 어떻게 안정되게 전송할수 있느냐를 생각해야 하고

한 시스템이 먹는 파워를 생각해야 합니다..

물리적인게 대략 끝나면 호환성 테스트도 해야 합니다..


생각은 자유로울수 있지만 실제 구현할려면 한개의 플랫폼을 만드는 엄청난 돈 들어가는 개발급의 일입니다..
언젠가는 2021-09
채굴용 라이저는 전송 속도가 중요하지 않더라도 연산용으로는 못써먹습니다. 채굴할때도 소모품으로 종종 고장나서 갈아줘야 합니다.
     
네이쳐 2021-09
라이저 하나로 테스트 해봤는데, 일단 1x 하나 사용시 제 연산 속도에는 지장 없었습니다~
          
언젠가는 2021-09
아니요 속도 문제가 아니고, 채굴용 라이저는 싸게 만드는게 목적이라서 안정성이 중요한건 못돌립니다.
별거 아니라도 usb 케이블 좀 잘못 끼웠다고 안돌아가고 이러면 골아픕니다.
그리고 sata 파워 커넥터 부분도 잘 탑니다.
언젠가는 2021-09
GPU 16개는 pcie switch를 쓰지 않고서는 일반적으로는 불가능합니다.
     
네이쳐 2021-09
https://www.dolphinics.com/products/IXS600.html

이런게 말씀하신 pcie switch 인가요??
          
박문형 2021-09
https://www.broadcom.com/products/pcie-switches-bridges/pcie-switches

보통 GPU 서버라고 불리는 것들은 위의 칩셋을 장착한 전용 시스템을 만들어서 완제품 혹은 베어본 형태로 판매 됩니다..
다른 제조사 제품이라면 모를까... ASUS 제품이라면 Above 4G Decoding을 켜도 저게 전부 정상작동하리라는 장담할 수 없습니다...
PCIe 슬롯이 많아도 호환성 문제 터지는게 ASUS거든요...
     
네이쳐 2021-09
asus가 아니더라도 다른 제품들도 비슷하겠죠??
          
박문형 2021-09
그것은 제조사가 얼마나 많이 호환성 테스트를 하고 버그를 수정하였느냐에 따라 다릅니다..

버그 잡는데 몇개월 이상 걸릴수도 있습니다..
gmltj 2021-09
채굴도 일반 보드에서는 그래픽 카드가 6개에서 넘어갈때 문제가 생기는데.... 단순히 2cpu 보드라고 생각하면 6*2해서 12개부터 문제가 생길 가능성이.... 현재 비슷한 세팅으로 쓰고 있는게 있나요??
     
네이쳐 2021-09
아니요
지금은 저 보드에 2080ti 4개 꽂아서 사용중인게 다 입니다.
CPU4 2021-09
PSU만 신경 쓴다면 16개는 일도 아니죠.
     
박문형 2021-09
파워 말고 바이오스가 재대로 지원 못할 수 있습니다..
          
CPU4 2021-09
저정도의 BUS로 충분하다고 하시니 채굴용을 사용해도 됩니다.
박문형 2021-09
https://blogs.nvidia.co.kr/2021/01/27/oem-servers-certified-systems/

https://www.nvidia.com/ko-kr/data-center/resources/vgpu-certified-servers/

본래 게임용인 GTX 그래픽 카드들을 엔비디아는 GPU 연산용으로 인정하지 않기에 공식적으로는 아무 지원도 하지 않지만

진짜 GPU 연산용 카드인 테슬라나 쿼드로 같은 제품이 들어가는 시스템을 보고 한대의 시스템에서 어디까지 GPU 카드를 설치 가능한지

짐작은 할 수 있습니다..

제 기억속에는 1대의 시스템에서 1슬롯짜리 GPU인 T4는 20개 까지 2슬롯짜리는 10개까지 붙일수 있는 시스템이 최대 사이즈라고 보여지며

NVLink 를 사용하는 SXM 타입 GPU는 1대의 시스템에서 16개까지 가능한 시스템이 있는 것으로 알고 있습니다..
dateno1 2021-09
일단 좀 좋은 라이저부터 쓰세요

그리고 보드에 따라 감당 가능한 롬용량 상한이 있습니다

그래픽은 꽤나 많은 롬용량을 자랑하기때문에 메인스트림경우 3~4개만 달면 문제되는 경우도 흔합니다

제온 듀얼이면 그나마 상한이 좀 높지만, 그런 숫자 될지는 불명입니다

그래픽마다 사용량이 다 다르다보니 하나씩 늘리면서 시험해볼 수 밖에 없습니다
무아 2021-09
seti 프로젝트처럼 분자모델 연산하는 sw에서 여러대의 gpu 시스템에 로드벨런싱 하는게 지원되면 찹 좋을 거 같은데 말이죠
분해맨 2021-09
009s라이저와 4배속 1 to 4 써보세요 저정도 보드면 인식은 다 되긴 할텐데 ,. 채굴이 아니라 다른 목적이시니 원하는 목적에 맞게 성능이 전부 다 나올지는 모르겠습니다.
     
네이쳐 2021-10
4배속 1 to 4 면
메인보드에 꽂는 부분이 4배속짜리 처럼 생겼나요??
검색을 못해서 그런지 위 사진처럼 1배속처럼 생긴거 밖에 못찾겠어요 ㅠ
          
박문형 2021-10
               
네이쳐 2021-10
감사합니다~
                    
박문형 2021-10
https://hansungsmb.co.kr/h3platform/

이런 것도 있기는 합니다..
          
분해맨 2021-10
저는 알리에서 이거 2개 사서 테스트 해봤고 채굴기에 테스트 후 잘 작동되어 추가로 3세트 주문했습니다.
제가 주문한 곳은 https://s.click.aliexpress.com/e/_ApP0v3 인데 여기서 구매하니까 5일만에 오긴 하더라구요.
찬이 2021-09
근데 채굴제한때문에 x1 에서는 연산성능제한이 걸리지 않나요? x8 미만이었나?

x8로 하면 최대 11개까지 가능하겠네요.
김은호 2021-10
저 확장카드도 pcie 스위치칩이 달린 겁니다. 되긴 될텐데 보드에 몇개까지 달릴지는 롬용량 탑재때문에 해봐야압니다
epowergate 2021-10
간혹 "네이처"님같은 분들의 요청이 있습니다.
저는 이거 사용하라고 말씀드립니다.
https://onestopsystems.com/products/3u-16-slot-expansion-enclosure-pcie-3-0?variant=39364891705379

슬롯수 (16Slot) + 전력 (3000W 3개, redundant) + 발열 모두 해결된 장비입니다.
32 Slot 짜리도 있습니다만 아직 경험이 없어서 말씀드리기는 좀 뭐합니다.
로그인 하시면 댓글을 남길 수 있습니다


QnA
쓰기
제목Page 2074/5684
2015-12   1494989   1  백메가
2014-05   4958564   1 정은준1
2016-03   4233   1 미수맨
2012-02   4233   1  홍인성
2020-05   4233   1 공백기
2017-09   4233   1 inquisitive
2015-11   4233   1 잠못이룬
2015-06   4234   1 박
2016-10   4234   1  햇살한스푼
2015-03   4234   1 2CPU최주희
2017-11   4234   1 나그네12345
2017-04   4234   1 김건우
2019-06   4234   1 블랙
2016-01   4234   1  방o효o문
2018-06   4234   1 늘파란
2016-02   4234   1  황진우
2016-10   4234   1 inquisitive
2016-02   4234   1 우끼끼끼
2018-05   4234   1 하나비
2007-03   4234   1 정재훈
2019-08   4234   1 무명인12
2016-04   4234   1  어드민플레이
목록
쓰기