연구실에서 사용1473;1064; GPU 서버 .160;대1032; PCIe Switch 1088;체가 1064;식1060; .104;1648; 않아 대1025;1012; Ǻ12;떻,172; 해야.112;1648; 1032;견1012; 구Ȣ16;고1088; 합니다.
문1228;가 0156;생한 서버 1473; Ȣ16;나lj16; NVIDIA DGX-1V/196; 1060;0120; 고1109;DŽ12;1648; 2,3년 1221;도/196; 꽤 오래.104;었1004;며 PCIe Switch 4개가 BMC 상에서 1105;7176;1648; 않lj16; 상태1077;니다.
V100 GPU들1032; Firmware መ1;1032; 1221;보도 N/A/196; 뜨면서 대시보드에서 1204;혀 1105;7176;1648; 않lj16; 상태1060;구요.
다른 Ȣ16;나lj16; GIGABYTE G292-Z201004;/196; PCIe Switch 4대 1473; Ȣ16;나가 1064;식1060; .104;1648; 않아 현1116; GPU가 6대만 1105;7176;lj16; 상황1077;니다.
lspci, lshw መ1;1032; 명/161;Ǻ12;/196;도 1109;치가 1064;식1060; .104;1648; 않lj16;,152;/196; 보아 Ȣ16;드웨Ǻ12;1201;1064; 고1109;1004;/196; 생각.104;1648;만 DGX-11008; 1060;0120; 1648;원1060; -149;DŽ12; 상황1060;며 NVIDIA 구ᇺ1; 서비스도 መ1;/197;Ȣ16;1648; 않아 공식1201;1064; 1648;원1012; 0155;기 Ǻ12;/140;운 상황1060;며 GIGABYTE 서버도 2년 수리 1648;원1060; 1060;1228; ኔ1; -149;DŽ12; 상황1060;라 1200;7148;가 해볼 수 1080;lj16; ,163;1008; 시도해보고1088; 합니다.
ᕬ1;시나 비슷한 상황1012; 겪Ǻ12;보신 ǥ16;들1060; 계시lj16;1648;, 만약 계신다면 Ǻ12;떤 대1025;0169;법1012; 시도해보ǯ12;고 효과를 보ǯ12;lj16;1648; 1032;견1012; 1452;시면 감사Ȣ16;,192;습니다.
무책임한 답변일수있지만(GPU테스트용 시스템을 구축해야하는 번거로움이.....) 무언가 문제의 원인을 찾을때는 기본부터 시작해야합니다.
그리고 DGX-1은 SXM 인터페이스라서 개별 GPU 테스트도 불가능하네요 ㅠ
그나마 그네들은 테스트베드를 가지고 있는것이구요..
https://www.bsi.uk.com/gigabyte-g292-z20
블럭다이어그램에서 PCIe Switch 라는 것이 Microsemi 칩셋이라면 그 칩셋이 죽어버린 것이라고 단정할 수 있는데
이것은 제조사에서 수리해주거나 교환해주면 모를까 그렇지 않으면 개인이 수리하기는 힘듭니다..
아마도 정상동작하는 칩셋을 구해 불량 칩셋을 띠어내고 BGA 납땜질 작업하고 다시 테스트 해보는 정도가 다일 것입니다..
NVIDIA DGX-1V 은 NV-LINK 로 연결되어 있는데 GPU 모듈이 다 문제가 없다면 그것과 연결되는 NV-LINK 기판을 정상동작하는 것으로
구해 바꿔 보는 정도일 것입니다.. (만일 NV-LINK 기판이 고장난 경우)
문제는 NVIDIA DGX-1V 의 부품은 비싸기도 하고 구하기 어렵다는 것이겠죠..
업체를 불러도 그 업체가 얼마나 부품을 잘 구하냐 수리를 잘하느냐에 따라 수리를 할수 있다 없다가 결정되며 수리하더라도 실패할 경우가 있습니다..
보통 저런 수리는 수리 실패 하더라도 작업료는 따로 받습니다..
DGX는 이미 구매 업체에서 두손두발 다 들었던 물건이긴 해서 크게 기대하고 있지는 않았습니다... 갑자기 워크로드 빡센걸 돌리는 상황이 생긴거라 혹시나 하는 마음에 켜봤지만 역시나군요.. ㅠㅠ
따라서 GPU를 다 빼고 정상동작하는 것 하나나 두개만 꼽아서 GPU외 베어본이 정상인지 아닌지부터 테스트 해봐야죠..
이런 테스트는 시간이 많이 걸립니다..
그러나 그기간이 끝나버리면 아무것도 안해줍니다..
그 회사의 룰이니까 어쩔수 없지만 (서류대로 한다..) 어찌 보면 상당히 매정합니다..
그리고 안의 부품들이 전용 부품이 많아서 따로 구할 수 있는 경우는 거의 없을정도로 구하기가 힘든 것 같더군요..
#2. 슬롯이 죽는 경우
#3. GPU 가 죽는 경우
셋 중 하나 같은데 어느날 갑자기 2개이상의 GPU 가 죽었다면 #1 확률이 가장 높아보이네요.
김영기님 말씀처럼 GPU 꺼내서 다른 서버/웤에 물려보면 바로 결과 나올듯 합니다.
교체 해야죠.