1901;팔리면 1656;문Ȣ16;1648; 맙시다. 소1473;한 NJ13;변 댓글1012; 삭1228;Ȣ16;lj16;,148; ǥ12;-124;러운 1068; 1077;니다 
얼마1204; 0156;표.108; Nvidia B200 GPU에 사용.108; HBM3e가 192GB용량에 8TB/s 대역폭1012; 1648;원한다고 Ȣ16;lj16;데...
그/100; 우리가 사용Ȣ16;고 1080;lj16; PC사양1032; 메모리 DDR5-7200 (곧 나온다고 치고...) 1032; 최대 대역폭1012; Ǻ12;떻,172; 계산해야 Ȣ16;나요?
그리고 서버급에서 사용 예1221;1064; CXL 3.0 1032; 메모리 1061;스6172;더가 PCIe Gen6 x16 1648;원Ȣ16;더라도 대역폭1008; 128GB/s 1064;데...
최소 1TB/s 대역폭1012; 1648;원 위해서라면 메모리 1061;스6172;더 모듈 8개 (1024 / 128 = 8) 1109;착해야 할,163; 같1008;데.. 1228; 생각1060; 맞나요??
마1648;ኔ1;1004;/196;.. 곧 GPU카드에 사용.112; GDDR7 1032; 최대 대역폭1008; 또 Ǻ12;떻,172; 계산해야 Ȣ16;나요?
요1608; Ȣ16;도 HBM..HBM Ȣ16;길래... 얼마나 빠른1648; Ƽ17;금해서요..
HBM은 비트 폭이 1024비트 이상에 sm 코어 가까이 붙어있다 보니 클럭이 더 높습니다.
https://www.donghyun53.net/jedec-%EC%8A%A4%ED%8E%99%EC%9C%BC%EB%A1%9C-%EB%B9%84%EA%B5%90%ED%95%98%EB%8A%94-ddr4%EC%99%80-ddr5/
https://www.bittware.com/ko/resources/ddr4-and-ddr5-performance-comparison/
HBM을 따라 잡을 좋은 방법은 없어요..
그리고 중요한 것은
CPU 와 OS 커널로부터 자유로워야 합니다 그래서 비싼 HBM을 할 수 밖에 없었던 것이구요.
*** OS 커널과 CPU 와 꿍짝꿍짝 하기 시작하면 너무 느려져요.. 우리 운영체제들이 그러고 있죠.
*** 그리고 GPU가 바로 옆에 품은 것은 아주 작은 Latency 도 한 이유이기도 합니다.
CXL은 GPU를 위한 것은 아니고.. 다른 장치들에게 메모리에 대한 부담을 줄이고 CXL의 메모리를 공유해서 사용할 수 있는 것이죠.
이 또한 OS커널과 CPU로 부터 벋어나야 하는데.. 아마도 RDMA over NVMe 같은 새로운 프로토콜이 생길 것으로 보입니다.
차후에 추가 할 수도 있는 그런 장치며 비싸죠...
Nvidia GPU들 간의 통신을 NVlink로 해결하려 하고 있습니다. 연산칩과 각 메모리들의 통신을 NVlink 가 담당하게 되는 것이죠.
GDDR7 Max Bandwidth by JEDEC
https://www.anandtech.com/show/21287/jedec-publishes-gddr7-specifications-pam3-ecc-higher-density
HBM3e by SAMSUNG ( 왜 무리하게 적층을 하는지 그대로 나오네요..)
https://www.anandtech.com/show/21104/samsung-announces-shinebolt-hbm3e-memory-hbm-hits-36gb-stacks-at-98-gbps
*** 그리고 B200은 Grace chip 과 하모니 짝짝꿍하는 서버에요.... 슈퍼컴퓨터가 되고 싶은 Node 입니다.
*** B100 또한 서버를 위한 메인보드에 가깝습니다.
비디오 카드같은 모양은 H100 이 마지막일지도 모릅니다.
B100은 소비전력이 700W 라서 비디오카드쳐럼 만들수가 없었겠죠...