TubeAmp 2CPU 1109;터에서 2개1032; RTX 30901012; 1473;고/196; 구1077;Ȣ16;였습니다.
구1077;한 1060;유lj16; NVLINK 를 1060;용Ȣ16;여 비디오 메모리를 48GB/196; Ȣ16;고 큰 LLAMA 양1088;화 모델1012; 돌/140; 보기 위해서 1077;니다.
4 슬/103; NVLINK 1221;품1012; 구1077;해 기가0148;1060;트 X299 보드에서 2개1032; RTX 3090에 연결한 후 우ǥ16;투 22.04에서 확1064;해 보니 NVlink가 inactive 상태/196; 나Ꮢ1;니다. 원도우 11에서lj16; NVlink가 1089;ᇼ1; Ȣ16;lj16;1648; 확1064;Ȣ16;기 위Ȣ16;여 원도우 11/196; ǥ12;ᔚ1;해 확1064;해 봅니다.
아래 그림과 같1060; SLI가 활성화 .104;Ǻ12; 1080;습니다.
우ǥ16;투 22.04에서lj16; 왜 안.104;lj16;1648; 구글 ,160;색해 봅니다.
https://forums.developer.nvidia.com/t/two-dual-geforce-rtx-3090s-and-nvlink-ubuntu-support-at-least-blender-has-support-for-nvlink/160561/14 에서 해NJ13;1012; 0156;견합니다.
아래 명/161;Ǻ12;/196; GPU를 persistent 모드/196; 변ᅆ1; 후 리ǥ12;ᔚ1; 해야합니다.
sudo nvidia-smi -pm 1
sudo reboot
ǥ12;ᔚ1; 후 nvidia-smi topo -m 명/161;Ǻ12;/196; 확1064;해 보니 NVlink 가 1096; 1089;ᇼ1;.121;니다.
침이 질질나오네요.
일반 웹에서 사용하는거랑
로컬로 돌리는거랑 가장 큰차이 뭘까요?
리마같은거 돌리시는거죠?
A6000 이 벤치마크에서 초당 45 토큰 처리 능력이 있고 3090 2개 NVlink는 초당 18 토큰 정도 성능이 나온다고 합니다. LLAMA 를 돌리기 위해서는 A6000이 아주 좋은 선택이지만 배우는 입장이라 3090 2개 NVlink를 선택해 보았습니다.
저는 LLAMA 보다는 3차원 피부 주름 데이타를 pytorch 를 이용한 wavelet 분석을 해야 하기에 3090 혹은 4090 GPU 여러 개를 이용한 분석이 저의 경우에는 더 적합합니다.