SiCMOS 03-22

메모리 비트 라인당 속도 * 비트 폭 계산하시면 됩니다. GDDR7이면 32Gbps * 256비트/8 이런식이죠
HBM은 비트 폭이 1024비트 이상에 sm 코어 가까이 붙어있다 보니 클럭이 더 높습니다.

박문형 03-22

https://www.kingston.com/kr/blog/pc-performance/ddr5-overview

https://www.donghyun53.net/jedec-%EC%8A%A4%ED%8E%99%EC%9C%BC%EB%A1%9C-%EB%B9%84%EA%B5%90%ED%95%98%EB%8A%94-ddr4%EC%99%80-ddr5/

https://www.bittware.com/ko/resources/ddr4-and-ddr5-performance-comparison/

제온프로 03-22

어떤 대역폭보다 넓은 것이 HBM 입니다.  그래서 이름도 HBM
 
HBM을 따라 잡을 좋은 방법은 없어요..

그리고 중요한 것은

CPU 와 OS 커널로부터 자유로워야 합니다 그래서 비싼 HBM을 할 수 밖에 없었던 것이구요.
*** OS 커널과 CPU 와 꿍짝꿍짝 하기 시작하면 너무 느려져요.. 우리 운영체제들이 그러고 있죠.
*** 그리고 GPU가 바로 옆에 품은 것은 아주 작은 Latency 도 한 이유이기도 합니다.

CXL은 GPU를 위한 것은 아니고.. 다른 장치들에게 메모리에 대한 부담을 줄이고 CXL의 메모리를 공유해서 사용할 수 있는 것이죠.
이 또한 OS커널과 CPU로 부터 벋어나야 하는데.. 아마도 RDMA over NVMe 같은 새로운 프로토콜이 생길 것으로 보입니다.
 차후에 추가 할 수도 있는 그런 장치며 비싸죠...

Nvidia GPU들 간의 통신을 NVlink로 해결하려 하고 있습니다. 연산칩과 각 메모리들의 통신을 NVlink 가 담당하게 되는 것이죠.


GDDR7 Max Bandwidth by JEDEC
https://www.anandtech.com/show/21287/jedec-publishes-gddr7-specifications-pam3-ecc-higher-density

HBM3e by SAMSUNG ( 왜 무리하게 적층을 하는지 그대로 나오네요..)
https://www.anandtech.com/show/21104/samsung-announces-shinebolt-hbm3e-memory-hbm-hits-36gb-stacks-at-98-gbps

*** 그리고 B200은 Grace chip 과 하모니 짝짝꿍하는 서버에요.... 슈퍼컴퓨터가 되고 싶은 Node 입니다.
*** B100 또한 서버를 위한 메인보드에 가깝습니다.

비디오 카드같은 모양은 H100 이 마지막일지도 모릅니다. 
B100은 소비전력이 700W 라서 비디오카드쳐럼 만들수가 없었겠죠...

무명인12 03-22

답변해 주신 모든 분들에게 감사드립니다. 많은 도움이 됐습니다.