4090 딥러닝 관련 질문드립니다

블블아이   
   조회 2435   추천 0    

4090 4개 워크스테이션인데 제가 멀티 gpu가 처음이라...

0번 gpu만 이용해서 학습을 돌리는 건 되는데, 0~3번 gpu를 모두 사용하도록 코드를 작성하면 NCCL3 오류가 나거나 out of memory가 뜹니다. 


NCCL INFO P2P is disabled between connected GPUs 0 and 1. You can repress this message with NCCL_IGNORE_DISABLED_P2P=1.

이런 메세지가 출력되어 코드 최상단에

 

os.environ["NCCL_P2P_DISABLED"] = "1"


를 추가 했는데도 해결이 안 됩니다. 혹시 해결 방법이 있을까요?

DP, DDP에서 모두 같은 오류가 발생하고 있습니다. 메모리는 충분합니다
짧은글 일수록 신중하게.
제온프로 2023-07
CPU가 뭔가요??
메인보드가 원가요??

내용상으로는 NVlink 사용을 해야 한다고 합니다.
김경철 2023-07
NCCL_P2P_DISABLED 가 아니라 NCCL_IGNORE_DISABLED_P2P 그대로 해주셔야 할듯 합니다.
로그인 하시면 댓글을 남길 수 있습니다


QnA
쓰기
제목Page 299/5729
2014-05   5264919   1 정은준1
2015-12   1789927   1  백메가
2022-06   1995   1  일반유저
2022-09   1995   1 미수맨
2023-04   1995   1 엄청난x
2024-01   1995   1 DJvamp
2024-01   1995   1 Nicoffeine
2024-07   1995   1 무쏘뿔처럼
2024-02   1995   1 회원
2024-08   1995   1 신은왜
2023-11   1995   1 헌터D
2022-06   1996   1 까치산개꿀탱
2024-05   1996   1 indi78
2022-07   1996   1 프링글스
2023-01   1996   1 catstyle
2024-07   1996   1 유호준
2024-03   1996   1 도아삼촌
2024-07   1997   1  삐돌이슬픔이
2024-05   1997   1 미담
2024-08   1997   1 븍띤
2021-05   1997   1  김준유
2022-11   1997   1  Caroline
목록
쓰기