박문형 03-30

RTX6000 Ada 4장  vs  H100 1 장인가요??

프로그램은 4장의 GPU를 다 인식하고 동작 잘하는가요??

프로그램에 따라 복수의 GPU를 재대로 인식 못하거나 재대로 활용 못하는 경우도 있습니다..

악마라네 03-30

인공지능 학습용의 경우 GPU 메모리의 이슈일수도 있습니다.

H100 한장이 80기가 버젼과 94기가 버젼이 존재합니다. 한장 가격은 3700~4500만원
RTX 6000 ada 버전이 48기가 * 4  192 기가 한장에 대략 1천만원.

GPU 메모리가 얼마나 필요한지에 따라 달라집니다. 제가 하고 있는 프로젝트에서도 업체에서 RTX 6000 ada 4장 넣은 모델을 추천했습니다만, 저는 H100 4장으로 구성하려 합니다. (금액은 대충. 1.8배쯤 더 드네요. 1.2억 vs 2.1억)

현재 나오는 HP Z8 Fury G5 모델의 경우 RTX 6000 ada 4장이 공식구성으로 구성이 가능합니다. (제가 2장 구성으로 사용중입니다.)

성능은 어떤 학습이냐에 따라 다르지만, GPU 메모리가 모자라면 아예 학습등이 불가능하기 때문에 그럴 수 있겠네요. 예산과 맞춰보시면 될겁니다. 메모리 문제가 아니라면 RTX ada 6000에서 도는 프로그램이 H100에서 돌지 않을 이유는 없을 것 같습니다.

Landa 03-30

와 2년전에 예산 잡을때는 600정도였고, 24년초에 800정도에 구매했는데 지금 더 올랐군요??

진짜 구형 모델인데도 무섭게 올라가네요

악마라네 03-31

차기 모델이 안나오는게 제일 큰 문제 같습니다.

황진우 03-30

만든 런닝에따라 달라집니다.

제온프로 03-30

Tesla 연산 성능비교..

RTX 6000 Ada 48G pcie
  FP16 (half) 91.06 TFLOPS (1:1)
  FP32 (float) 91.06 TFLOPS
  FP64 (double) 1,423 GFLOPS (1:64)


H100 80G pcie
  FP16 (half) : 204.9 TFLOPS (4:1)
  FP32 (float) : 51.22 TFLOPS
  FP64 (double) : 25.61 TFLOPS (1:2)

RTX 6000 Ada 80G x 4장이  훨신 성능도 높고 활용도도 좋으며.. 가격도 저렴하겠네요.. 
FP64 가 상당히 낮은게 특징인데요.. 사용하시면서 이점을 잘 주의해서 사용해야게씃비낟.

Supermicro GPGPU Pcie 서버에 배치하여.. 여러사람이 같이 사용할 수 이겠습니다.