2CPU 장터에서 2개의 RTX 3090을 중고로 구입하였습니다.

구입한 이유는 NVLINK 를 이용하여 비디오 메모리를 48GB로 하고 큰 LLAMA 양자화 모델을 돌려 보기 위해서 입니다.

4 슬럿 NVLINK 정품을 구입해 기가바이트 X299 보드에서 2개의 RTX 3090에 연결한 후 우분투 22.04에서 확인해 보니 NVlink가 inactive 상태로 나옵니다. 원도우 11에서는 NVlink가 작동 하는지 확인하기 위하여 원도우 11로 부팅해 확인해 봅니다.

아래 그림과 같이 SLI가 활성화 되어 있습니다.

우분투 22.04에서는 왜 안되는지 구글 검색해 봅니다.

https://forums.developer.nvidia.com/t/two-dual-geforce-rtx-3090s-and-nvlink-ubuntu-support-at-least-blender-has-support-for-nvlink/160561/14 에서 해답을 발견합니다.

아래 명령어로 GPU를 persistent 모드로 변경 후 리부팅 해야합니다.

sudo nvidia-smi -pm 1

sudo reboot

부팅 후 nvidia-smi topo -m 명령어로 확인해 보니 NVlink 가 잘 작동됩니다.