4090 µö·¯´× °ü·Ã Áú¹®µå¸³´Ï´Ù

   Á¶È¸ 1790   Ãßõ 0    

4090 4개 워크스테이션인데 제가 멀티 gpu가 처음이라...

0번 gpu만 이용해서 학습을 돌리는 건 되는데, 0~3번 gpu를 모두 사용하도록 코드를 작성하면 NCCL3 오류가 나거나 out of memory가 뜹니다. 


NCCL INFO P2P is disabled between connected GPUs 0 and 1. You can repress this message with NCCL_IGNORE_DISABLED_P2P=1.

이런 메세지가 출력되어 코드 최상단에

 

os.environ["NCCL_P2P_DISABLED"] = "1"


를 추가 했는데도 해결이 안 됩니다. 혹시 해결 방법이 있을까요?

DP, DDP에서 모두 같은 오류가 발생하고 있습니다. 메모리는 충분합니다

ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
CPU°¡ ¹º°¡¿ä??
¸ÞÀκ¸µå°¡ ¿ø°¡¿ä??

³»¿ë»óÀ¸·Î´Â NVlink »ç¿ëÀ» ÇØ¾ß ÇÑ´Ù°í ÇÕ´Ï´Ù.
±è°æö 2023-07
NCCL_P2P_DISABLED °¡ ¾Æ´Ï¶ó NCCL_IGNORE_DISABLED_P2P ±×´ë·Î ÇØÁÖ¼Å¾ß ÇÒµí ÇÕ´Ï´Ù.


QnA
Á¦¸ñPage 241/5680
2015-12   1483445   ¹é¸Þ°¡
2014-05   4946774   Á¤ÀºÁØ1
2004-07   7808   ÀåÁø¿ì
2005-05   5598   ±èµ¿¹Î
2004-05   8167   ±èµ¿¿Ï
2005-04   6233   Çѵ¿ÈÆ
2005-11   5318   ±è°Ç¿ì
2002-05   16427   Á¤Å¼º
2005-09   5300   ÀÌÁ¦È£
2005-03   6408   Á¤ÈûÂù
2006-05   5344   ¿ø³«¿¬
2005-04   5934   ±èÁÖ¿µ
2003-12   10055   ¹ÚÂùÀÏ
2007-08   4595   ÀÌÀç°Ç
2005-03   6248   À¯¿ë¼ö
2004-02   8018   À±Ä¡¿­
2005-08   5295   ¹æÈ¿¹®
2003-11   10166   À̱⿵
2004-03   8009   Á¤ÀçÈÆ
2007-08   4452   ÀÌ»óµ·
2005-09   5645   À±µ¿Èñ
2002-05   17288   ÇÑâ¼ö