김루노 2024-05

개인적으로 말씀드리자면 고객이 비용 부담이 가능하다면

고객이 요청하신대로 해주시는게 나중에 문제가 없습니다.

괜시리 일반서버가 가격이 더 싸서 추천해줫다가 예상한 성능이 안나올경우에 DGX 아니여서 그렇다는 말이 나올 수 있으니까요.

딸긔꼬마 2024-05

일반 GPU에서 지원하지 않는 특정기능이 DGX에서 다수 제공합니다.

이창준 2024-05

https://www.exxactcorp.com/blog/deep-learning/sxm-vs-pcie-gpus-best-for-training-llms-like-gpt-4

내용 중 두개의 다이어그램을 참고하시면 좋을 것 같습니다. DGX의 경우, CPU 이전 단에서 GPU 간 SXM, NVLINK를 활용한 데이터 쉐어가 가능해 보입니다.

제온프로 2024-05

2배 까지는 아니어도 퍼포먼스 차이가 많이 납니다.
NVLink 로 연결되어서요..
SXM 버전마다 또 속도도 다릅니다.

1개만 돌리면 큰 차이는 없습니다.

The 8 SXM5 H100s is capable of 900 GB/s of bidirectional bandwidth per GPU via 4x NVLink Switch Chips for a total bidirectional bandwidth of over 7.2TB/s.

https://www.exxactcorp.com/blog/deep-learning/sxm-vs-pcie-gpus-best-for-training-llms-like-gpt-4

민호양 2024-05

NVLink (NVSwitch)를 검색해보셔야하고, GPUDirect Storage라는 기술도 검색해보셔야합니다. 아주 큰 차이가 납니다.

dateno1 2024-05

인터페이스 측면에서 하늘과 땅 차이의 속도차가 있습니다

이거땜에 복수의 GPU일떄 상호 참조 속도가 답 안 나옵니다

박문형 2024-05

같은 GPU (PCIe 제외) 라면 성능차는 없어 보입니다..

일반서버에서는 SMX 소켓 달린 서버가 없습니다.
. 모두 PCIe 슬롯 방식이라고 봐야 합니다..
GPU서버 제조사 중 큰 제조사이고 nVDIA 와 파트너 관계가 되어야 nvlink로 연결된 SMX 소켓이 달린 GPU 서버를 생산할 수 있습니다..

아마 nVIDIA DGX 서버가 레퍼런스 이고 가격이 재일 비쌀 겁니다.. 3년 무상보증으로 아는데 보증기간내에 문제가 생기면 AS가 잘 되지만 보증기간이 끝나면 (계약이 끝나면) AS 자체가 끊어진다라고 봐야 합니다.. 부품도 전용인 듯 한데 따로 구할수도 없습니다.. 보증기간 지나서 고장나면 고치는 것이 거의 불가능하다라고 보시면 됩니다..(사설수리는 하겠지만 전문으로 AS하는 곳이 없다라고 봐야 합니다..)

AS 계약이 끝나면 AS가 안되는 것은 맞지만 그 이후에 시스템에 문제가 생기면 할 수 있는게 거의 없다보니 엔드유저에 따라서는 일종의 배신감만 느끼게 됩니다..


2CPU 게시판 중 GPU 게시판과 QnA 게시판에 DGX    서버 검색해보세요..

박문형 2024-05

일반벤더서버+ GPU 의 정의가 어떻게 되나요??

HPE , DELL 같은 벤더는 SMX 소켓으로 구성된 GPU 서버 모델이 따로 존재하는 것으로 알고 있습니다..