4090 4개 워크스테이션인데 제가 멀티 gpu가 처음이라...
0번 gpu만 이용해서 학습을 돌리는 건 되는데, 0~3번 gpu를 모두 사용하도록 코드를 작성하면 NCCL3 오류가 나거나 out of memory가 뜹니다.
NCCL INFO P2P is disabled between connected GPUs 0 and 1. You can repress this message with NCCL_IGNORE_DISABLED_P2P=1.
이런 메세지가 출력되어 코드 최상단에
os.environ["NCCL_P2P_DISABLED"] = "1"
를 추가 했는데도 해결이 안 됩니다. 혹시 해결 방법이 있을까요?
DP, DDP에서 모두 같은 오류가 발생하고 있습니다. 메모리는 충분합니다
메인보드가 원가요??
내용상으로는 NVlink 사용을 해야 한다고 합니다.