딥러닝에서 mGPU사용방법에 대한 질문입니다~!
http://www.2cpu.co.kr/deep/1674 (329)https://www.tensorflow.org/guide/distributed_training?hl=ko (857)
"1060;1204;에 딥러닝 ,172;시판에 올/160;1648;만 ,172;시판 성ᅄ1;1060; 안맞lj16;,163; 같아서 옮겼습니다"
--------------------------------------------------------------------------------------------------------------
안녕Ȣ16;세요~!
딥러닝 업무를 0155;,172;.104;면서 컴퓨터를 맞추기 위해서 Ȣ16;드웨Ǻ12;를 공ǥ12;1473;1064;데 21109;1032; GPU1032; VRAM1012; 사용Ȣ16;lj16; 0169;법1060; Ƽ17;금합니다
CUDA나 텐서플/196;우가 mGPU를 1648;원한다고 Ȣ16;lj16;데 1221;녕 1088;ᇼ1;1004;/196; VRAM1012; 나눠서 1089;업1012; 해1452;1652; 않1012;,144;라 추측.104;서 찾아보니 아래같1008; 내용1060; 1080;었습니다.
1060;런 ǥ16;산 Strategy1012; 설1221;해서 사용Ȣ16;면 .112;,163; 같1008;데 그/100; 텐서플/196;우에서 갖고1080;lj16; 1088;원 내에서 알아서 1221;리가 .104;lj16;,148;가요??
보통 n-way/196; 딥러닝 워크스테1060;션 맞추시lj16; ǥ16;들1008; 대ǥ12;ǥ16; 1060;런 1204;략1012; 사용Ȣ16;,144;나 수ᇼ1;1004;/196; GPU에 1068;1012; 할NJ17;Ȣ16;시나요?
3090 2-way/196; 견1201;1012; 맞출 예1221;1064;데 2개1032; VRAM과 GPU를 사용Ȣ16;/140;면 그에 맞lj16; 코딩1012; Ȣ16;lj16;,172; 맞lj16;,148;1648;
아니면 신ᅆ1; 안써도 1088;ᇼ1;1004;/196; 2대를 다 사용해1452;lj16;,148;1648; Ƽ17;금합니다.
(Ǻ12;차피 SLI1060;나 CFXlj16; VRAM 간1032; 대역폭1012; ᆵ1;혀1452;lj16;데 도움1008; 1460; 수 1080;1012;,163; 같1008;데 크,172; 신ᅆ1;Ǹ16;고 1080;1652; 않습니다...)
마1648;ኔ1;1004;/196; 1228;가 시스템1012; 구축Ȣ16;면 다른 개0156;1088;들1060; 그 위에서 코딩1012; 할,163; 같1008;데 0177;엔드lj16; nvcc 같1008;,152;/196; 연결해놓고
그 위에 텐서플/196;우1032; distribute 설1221;.108;layer1012; 올릴 수 1080;1012;까요?? 개0156;1088;들1060; distribute관/144;.108; 1648;식없1060; 텐서플/196;우 예1228;만 따라쳐도 알아서 ǥ16;산처리.112; 수 1080;lj16; 환ᅆ1;1012; 구축할 수 1080;lj16;1648; Ƽ17;금합니다.
3090nvlink 지원하나요.?
GPU 여러개 꼽혀있는걸 볼 때는 멋있었는데 실제로 쓸려니 험난하네요;;
nvlink을 연결시키면 텐서플로우 상에서도 분산처리를 안해도 되나요???
nvlink는 sli와 같은 기능으로 데이터 버스정도로만 이해하고 있었습니다
(GPU 1번에서 계산된 결과를 GPU 2번으로 모을 때 빠른 데이터 전송이 가능하다 정도로 생각하고 있었습니다)
data parallel은 GPU마다 동일한 네트워크를 올린뒤 1번 데이터에 대한 연산은 1번 gpu에서 2번 데이터에 대한 연산은 2번으로 수행하는 방법이며,
model parallel은 어떤 연산은 1번 gpu에서 나머지 연산은 2번 gpu에서 수행하는 방법입니다.
1번은 data parallel wrapper를 모델에 씌워주기만 하면 구현이 쉽게 되지만, model parallel은 세부적으로 직접 device에 대해서 연산을 지정해주어 구현하여야 합니다.
지식없이 하려면 data parallel쪽으로 고려하시고, data paralle 예제는 많이 공개되어 있으니 참고하시면 될것 같습니다.
처음 시작이니 data parallel부터 시작해서 구조가 익숙해지면 model parallel로 넘어가야겠습니다ㅠ
GPU 잘 쓰려면 엄청 깊게 내려가야겠어요ㅠㅠ