안녕하세요
일반적으로 HP ,DELL , LENOVO 등의 서버에 GPU를 장착 하여 사용을 많이 하고 있습니다.
현재 저희 고객이 엔비디아 DGX 서버에 필이 꽂혀서, 일반 서버에 GPU 장착한 모델은 별로 관심이 없습니다.
DGX 서버와 일반적인 벤더서버에 GPU 장착한거랑 월등한 차이가 나는지요? 아니면 별로 차이가 없는지요?
위의 내용 관련하여 문서 또는 웹사이트가 있는지 알려 주세요
감사합니다.
안녕하세요
일반적으로 HP ,DELL , LENOVO 등의 서버에 GPU를 장착 하여 사용을 많이 하고 있습니다.
현재 저희 고객이 엔비디아 DGX 서버에 필이 꽂혀서, 일반 서버에 GPU 장착한 모델은 별로 관심이 없습니다.
DGX 서버와 일반적인 벤더서버에 GPU 장착한거랑 월등한 차이가 나는지요? 아니면 별로 차이가 없는지요?
위의 내용 관련하여 문서 또는 웹사이트가 있는지 알려 주세요
감사합니다.
고객이 요청하신대로 해주시는게 나중에 문제가 없습니다.
괜시리 일반서버가 가격이 더 싸서 추천해줫다가 예상한 성능이 안나올경우에 DGX 아니여서 그렇다는 말이 나올 수 있으니까요.
내용 중 두개의 다이어그램을 참고하시면 좋을 것 같습니다. DGX의 경우, CPU 이전 단에서 GPU 간 SXM, NVLINK를 활용한 데이터 쉐어가 가능해 보입니다.
NVLink 로 연결되어서요..
SXM 버전마다 또 속도도 다릅니다.
1개만 돌리면 큰 차이는 없습니다.
The 8 SXM5 H100s is capable of 900 GB/s of bidirectional bandwidth per GPU via 4x NVLink Switch Chips for a total bidirectional bandwidth of over 7.2TB/s.
https://www.exxactcorp.com/blog/deep-learning/sxm-vs-pcie-gpus-best-for-training-llms-like-gpt-4
이거땜에 복수의 GPU일떄 상호 참조 속도가 답 안 나옵니다
일반서버에서는 SMX 소켓 달린 서버가 없습니다.
. 모두 PCIe 슬롯 방식이라고 봐야 합니다..
GPU서버 제조사 중 큰 제조사이고 nVDIA 와 파트너 관계가 되어야 nvlink로 연결된 SMX 소켓이 달린 GPU 서버를 생산할 수 있습니다..
아마 nVIDIA DGX 서버가 레퍼런스 이고 가격이 재일 비쌀 겁니다.. 3년 무상보증으로 아는데 보증기간내에 문제가 생기면 AS가 잘 되지만 보증기간이 끝나면 (계약이 끝나면) AS 자체가 끊어진다라고 봐야 합니다.. 부품도 전용인 듯 한데 따로 구할수도 없습니다.. 보증기간 지나서 고장나면 고치는 것이 거의 불가능하다라고 보시면 됩니다..(사설수리는 하겠지만 전문으로 AS하는 곳이 없다라고 봐야 합니다..)
AS 계약이 끝나면 AS가 안되는 것은 맞지만 그 이후에 시스템에 문제가 생기면 할 수 있는게 거의 없다보니 엔드유저에 따라서는 일종의 배신감만 느끼게 됩니다..
2CPU 게시판 중 GPU 게시판과 QnA 게시판에 DGX 서버 검색해보세요..
HPE , DELL 같은 벤더는 SMX 소켓으로 구성된 GPU 서버 모델이 따로 존재하는 것으로 알고 있습니다..