TITAN RTX가 nvlink 없이 peer to peer access 지원하나요?

tpp52   
   조회 3204   추천 0    

 안녕하세요,

   최근 8-way Titan RTX 서버 한대를 구매했는데요, 

   각 GPU 사이의 직접적인 통신이 이루어지지 않은것으로 보이는데요 (아래 그림)   


실제로 P2P 대역폭 테스트를 해도 처참한 속도가 나옵니다 ...

보통은 NVLink가 없어도 칩셋으로 P2P가 지원이 되는데 ... 이상하군요.

Chipset not supported ... 이 보드는 P2P 지원하는 보드입니다 ...

사양은 다음과 같습니다

Chipset: SuperMicro X11DPG-OT-CPU

CPU: 2 x Xeon 12 Cores 24 Threads CPUs

GPU: 8 x Titan RTX

OS: Ubuntu server 18.04 LTS

Driver: 415.27

CUDA: 10, CUDNN, NCCL installed.

보시다시피 리*즈시스템에서 판매하는 흔한 8-way 서버입니다. 

연휴라 기사님께 연락을 못드려 여기에 올리는데요, 

저 서버는 제가 알기론 여러 업체에서 8-way로 굴리고 있는데 P2P가 되는걸로 알고 있거든요.

근데 Titan RTX만 P2P가 안되는 이유가 있을까요??

Titan RTX사용하시는 다른 분들은 어떤가요?

참고로 명령어는 

nvidia-smi topo -p2p w

입니다

박문형 02-01
돈 엄청 들인 최신형인데...
     
tpp52 02-01
무슨 이유인지 모르겠네요 ... 드라이버 문제인지 ... 펌웨어 문제인지 ... GPU가 당최 지원을 안하는건지 ... 감도 안잡힙니다 ...
저게 안되면 multi-GPU 환경에서 성능이 5-10% 손해보는데 ... 쩝
박문형 02-01
어짜피 정품 취급 라인에서 구매하셨을테고

엔비디아쪽이랑 슈퍼마이크로쪽에 자세한 시스템 컨피그 레이션을 보내서 모가 문제냐고 물어 보셔야 할 듯합니다..

1억 가까이 들이셨나요??
     
tpp52 02-01
연휴지나고 그래야 할듯 합니다 ...
가격은 RTX 정가 x 8개 + 일반 랙서버 가격이라 보심 됩니다 ... 1억이면 Tesla V100 를 넣어야죠 ...
박문형 02-01
아직은 최신형들이라 펌웨어/ 바이오스 / 드라이버등이 안정화가 덜 되어 있을수 있고

OS가 몬지 몰라도 그쪽에서 문제가 되어 그럴수도 있습니다..

어쨌던 문제가 발견되었으니 제조사에게 숙제를 내어 해결 받으시기 바랍니다..

빨리 해결되어 프로잭트 잘하시길 바랍니다..
     
tpp52 02-01
감사합니다~ 명절 잘 보내시고 새해 복 많이 받으세요~
     
tpp52 02-14
일단 여러 경로로 알아봤는데 ... 엔당에서 일부러 드라이버로 막은것 같습니다 ...
JuneKang 02-02
Titan RTX 사용중이지만, 각개로 사용중이라 큰 도움은 안 되겠네요.

아래 글에 따르면 NVlink자체가 기존의 SLI와 상당히 다른 체계인 듯 한데, 호환여부 확인이 가장 중요할 듯 하고,
https://www.pcgamesn.com/nvidia-rtx-2080-ti-nvlink-performance

그리고 해당 보드가 V100 8way에서 hang issue가 있어 바이오스 업데이트를 릴리즈 한 적이 있네요.
https://www.supermicro.com/Bios/softfiles/6893/P-X11DPG-OT-CPU_BIOS_2_1a_release_notes.pdf
     
tpp52 02-02
감사합니다, 하지만 지금 다른 이슈가 생겼는데 8개 중 GPU 몇개가 쓸로트링 자꾸 걸리는것 같은데 이거 엔비디아에 반품해야 할지 고민이네요 ㅠㅠ




제목Page 3/7
2014-05   2891777   정은준1
2014-04   2594993   회원K
02-14   6028   tpp52
02-12   3849   FC서울
02-01   3205   tpp52
01-28   2899   페르세우스
01-10   5887   nmnn787
01-08   3128   Tu7885
01-04   2561   tyler
01-03   3085   청개구리03
01-03   4164   판타지스타
01-02   2178   김진관
2018-11   3552   TooDockLab
2018-11   3900   엠브리오
2018-11   2847   백만스물하나
2018-11   3708   꿈먹
2018-10   4084   davidhong
2018-10   4020   페르세우스
2018-09   2635   영산회상
2018-09   3685   optimize
2018-09   2956   민사장
2018-09   3753   고기한점해