TubeAmp2CPU 장터에서 2개의 RTX 3090을 중고로 구입하였습니다.
구입한 이유는 NVLINK 를 이용하여 비디오 메모리를 48GB로 하고 큰 LLAMA 양자화 모델을 돌려 보기 위해서 입니다.
4 슬럿 NVLINK 정품을 구입해 기가바이트 X299 보드에서 2개의 RTX 3090에 연결한 후 우분투 22.04에서 확인해 보니 NVlink가 inactive 상태로 나옵니다. 원도우 11에서는 NVlink가 작동 하는지 확인하기 위하여 원도우 11로 부팅해 확인해 봅니다.
아래 그림과 같이 SLI가 활성화 되어 있습니다.
우분투 22.04에서는 왜 안되는지 구글 검색해 봅니다.
아래 명령어로 GPU를 persistent 모드로 변경 후 리부팅 해야합니다.
sudo nvidia-smi -pm 1
sudo reboot
부팅 후 nvidia-smi topo -m 명령어로 확인해 보니 NVlink 가 잘 작동됩니다.
스스로 만들자.
침이 질질나오네요.
일반 웹에서 사용하는거랑
로컬로 돌리는거랑 가장 큰차이 뭘까요?
리마같은거 돌리시는거죠?
A6000 이 벤치마크에서 초당 45 토큰 처리 능력이 있고 3090 2개 NVlink는 초당 18 토큰 정도 성능이 나온다고 합니다. LLAMA 를 돌리기 위해서는 A6000이 아주 좋은 선택이지만 배우는 입장이라 3090 2개 NVlink를 선택해 보았습니다.
저는 LLAMA 보다는 3차원 피부 주름 데이타를 pytorch 를 이용한 wavelet 분석을 해야 하기에 3090 혹은 4090 GPU 여러 개를 이용한 분석이 저의 경우에는 더 적합합니다.