쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
안녕하세요? 업무용으로 사용할 Workstation을 알아보고 있습니다.
이미지 분류 학습을 위해서 구성할 예정이구요. 일부 예측 모델도 돌릴 예정입니다.
협력사에서 일부 SW를 제공하는 와중에 자기네 프로그램이 H100에서
사양은 RTX6000 Ada 4장으로 구성되어 있구요.
궁금한점이 H100 단일보다 성능이 어떻게 될까요?
그리고 4장의 GPU를 한번에 학습에 사용이 가능한지 선배님들의 의견을 여쭙습니다.
프로그램은 4장의 GPU를 다 인식하고 동작 잘하는가요??
프로그램에 따라 복수의 GPU를 재대로 인식 못하거나 재대로 활용 못하는 경우도 있습니다..
H100 한장이 80기가 버젼과 94기가 버젼이 존재합니다. 한장 가격은 3700~4500만원
RTX 6000 ada 버전이 48기가 * 4 192 기가 한장에 대략 1천만원.
GPU 메모리가 얼마나 필요한지에 따라 달라집니다. 제가 하고 있는 프로젝트에서도 업체에서 RTX 6000 ada 4장 넣은 모델을 추천했습니다만, 저는 H100 4장으로 구성하려 합니다. (금액은 대충. 1.8배쯤 더 드네요. 1.2억 vs 2.1억)
현재 나오는 HP Z8 Fury G5 모델의 경우 RTX 6000 ada 4장이 공식구성으로 구성이 가능합니다. (제가 2장 구성으로 사용중입니다.)
성능은 어떤 학습이냐에 따라 다르지만, GPU 메모리가 모자라면 아예 학습등이 불가능하기 때문에 그럴 수 있겠네요. 예산과 맞춰보시면 될겁니다. 메모리 문제가 아니라면 RTX ada 6000에서 도는 프로그램이 H100에서 돌지 않을 이유는 없을 것 같습니다.
진짜 구형 모델인데도 무섭게 올라가네요
RTX 6000 Ada 48G pcie
FP16 (half) 91.06 TFLOPS (1:1)
FP32 (float) 91.06 TFLOPS
FP64 (double) 1,423 GFLOPS (1:64)
H100 80G pcie
FP16 (half) : 204.9 TFLOPS (4:1)
FP32 (float) : 51.22 TFLOPS
FP64 (double) : 25.61 TFLOPS (1:2)
RTX 6000 Ada 80G x 4장이 훨신 성능도 높고 활용도도 좋으며.. 가격도 저렴하겠네요..
FP64 가 상당히 낮은게 특징인데요.. 사용하시면서 이점을 잘 주의해서 사용해야게씃비낟.
Supermicro GPGPU Pcie 서버에 배치하여.. 여러사람이 같이 사용할 수 이겠습니다.