쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
얼마전 발표된 Nvidia B200 GPU에 사용된 HBM3e가 192GB용량에 8TB/s 대역폭을 지원한다고 하는데...
그럼 우리가 사용하고 있는 PC사양의 메모리 DDR5-7200 (곧 나온다고 치고...) 의 최대 대역폭을 어떻게 계산해야 하나요?
그리고 서버급에서 사용 예정인 CXL 3.0 의 메모리 익스펜더가 PCIe Gen6 x16 지원하더라도 대역폭은 128GB/s 인데...
최소 1TB/s 대역폭을 지원 위해서라면 메모리 익스펜더 모듈 8개 (1024 / 128 = 8) 장착해야 할것 같은데.. 제 생각이 맞나요??
마지막으로.. 곧 GPU카드에 사용될 GDDR7 의 최대 대역폭은 또 어떻게 계산해야 하나요?
요즘 하도 HBM..HBM 하길래... 얼마나 빠른지 궁금해서요..
HBM은 비트 폭이 1024비트 이상에 sm 코어 가까이 붙어있다 보니 클럭이 더 높습니다.
https://www.donghyun53.net/jedec-%EC%8A%A4%ED%8E%99%EC%9C%BC%EB%A1%9C-%EB%B9%84%EA%B5%90%ED%95%98%EB%8A%94-ddr4%EC%99%80-ddr5/
https://www.bittware.com/ko/resources/ddr4-and-ddr5-performance-comparison/
HBM을 따라 잡을 좋은 방법은 없어요..
그리고 중요한 것은
CPU 와 OS 커널로부터 자유로워야 합니다 그래서 비싼 HBM을 할 수 밖에 없었던 것이구요.
*** OS 커널과 CPU 와 꿍짝꿍짝 하기 시작하면 너무 느려져요.. 우리 운영체제들이 그러고 있죠.
*** 그리고 GPU가 바로 옆에 품은 것은 아주 작은 Latency 도 한 이유이기도 합니다.
CXL은 GPU를 위한 것은 아니고.. 다른 장치들에게 메모리에 대한 부담을 줄이고 CXL의 메모리를 공유해서 사용할 수 있는 것이죠.
이 또한 OS커널과 CPU로 부터 벋어나야 하는데.. 아마도 RDMA over NVMe 같은 새로운 프로토콜이 생길 것으로 보입니다.
차후에 추가 할 수도 있는 그런 장치며 비싸죠...
Nvidia GPU들 간의 통신을 NVlink로 해결하려 하고 있습니다. 연산칩과 각 메모리들의 통신을 NVlink 가 담당하게 되는 것이죠.
GDDR7 Max Bandwidth by JEDEC
https://www.anandtech.com/show/21287/jedec-publishes-gddr7-specifications-pam3-ecc-higher-density
HBM3e by SAMSUNG ( 왜 무리하게 적층을 하는지 그대로 나오네요..)
https://www.anandtech.com/show/21104/samsung-announces-shinebolt-hbm3e-memory-hbm-hits-36gb-stacks-at-98-gbps
*** 그리고 B200은 Grace chip 과 하모니 짝짝꿍하는 서버에요.... 슈퍼컴퓨터가 되고 싶은 Node 입니다.
*** B100 또한 서버를 위한 메인보드에 가깝습니다.
비디오 카드같은 모양은 H100 이 마지막일지도 모릅니다.
B100은 소비전력이 700W 라서 비디오카드쳐럼 만들수가 없었겠죠...