연구실에서 사용중인 GPU 서버 두대의 PCIe Switch 자체가 인식이 되지 않아 대응을 어떻게 해야될지 의견을 구하고자 합니다.
문제가 발생한 서버 중 하나는 NVIDIA DGX-1V로 이미 고장난지 2,3년 정도로 꽤 오래되었으며 PCIe Switch 4개가 BMC 상에서 잡히지 않는 상태입니다.
V100 GPU들의 Firmware 등의 정보도 N/A로 뜨면서 대시보드에서 전혀 잡히지 않는 상태이구요.
다른 하나는 GIGABYTE G292-Z20으로 PCIe Switch 4대 중 하나가 인식이 되지 않아 현재 GPU가 6대만 잡히는 상황입니다.
lspci, lshw 등의 명령어로도 장치가 인식이 되지 않는걸로 보아 하드웨어적인 고장으로 생각되지만 DGX-1은 이미 지원이 끝난 상황이며 NVIDIA 구독 서비스도 등록하지 않아 공식적인 지원을 받기 어려운 상황이며 GIGABYTE 서버도 2년 수리 지원이 이제 막 끝난 상황이라 저희가 해볼 수 있는 것은 시도해보고자 합니다.
혹시나 비슷한 상황을 겪어보신 분들이 계시는지, 만약 계신다면 어떤 대응방법을 시도해보셨고 효과를 보셨는지 의견을 주시면 감사하겠습니다.
무책임한 답변일수있지만(GPU테스트용 시스템을 구축해야하는 번거로움이.....) 무언가 문제의 원인을 찾을때는 기본부터 시작해야합니다.
그리고 DGX-1은 SXM 인터페이스라서 개별 GPU 테스트도 불가능하네요 ㅠ
그나마 그네들은 테스트베드를 가지고 있는것이구요..
https://www.bsi.uk.com/gigabyte-g292-z20
블럭다이어그램에서 PCIe Switch 라는 것이 Microsemi 칩셋이라면 그 칩셋이 죽어버린 것이라고 단정할 수 있는데
이것은 제조사에서 수리해주거나 교환해주면 모를까 그렇지 않으면 개인이 수리하기는 힘듭니다..
아마도 정상동작하는 칩셋을 구해 불량 칩셋을 띠어내고 BGA 납땜질 작업하고 다시 테스트 해보는 정도가 다일 것입니다..
NVIDIA DGX-1V 은 NV-LINK 로 연결되어 있는데 GPU 모듈이 다 문제가 없다면 그것과 연결되는 NV-LINK 기판을 정상동작하는 것으로
구해 바꿔 보는 정도일 것입니다.. (만일 NV-LINK 기판이 고장난 경우)
문제는 NVIDIA DGX-1V 의 부품은 비싸기도 하고 구하기 어렵다는 것이겠죠..
업체를 불러도 그 업체가 얼마나 부품을 잘 구하냐 수리를 잘하느냐에 따라 수리를 할수 있다 없다가 결정되며 수리하더라도 실패할 경우가 있습니다..
보통 저런 수리는 수리 실패 하더라도 작업료는 따로 받습니다..
DGX는 이미 구매 업체에서 두손두발 다 들었던 물건이긴 해서 크게 기대하고 있지는 않았습니다... 갑자기 워크로드 빡센걸 돌리는 상황이 생긴거라 혹시나 하는 마음에 켜봤지만 역시나군요.. ㅠㅠ
따라서 GPU를 다 빼고 정상동작하는 것 하나나 두개만 꼽아서 GPU외 베어본이 정상인지 아닌지부터 테스트 해봐야죠..
이런 테스트는 시간이 많이 걸립니다..
그러나 그기간이 끝나버리면 아무것도 안해줍니다..
그 회사의 룰이니까 어쩔수 없지만 (서류대로 한다..) 어찌 보면 상당히 매정합니다..
그리고 안의 부품들이 전용 부품이 많아서 따로 구할 수 있는 경우는 거의 없을정도로 구하기가 힘든 것 같더군요..
#2. 슬롯이 죽는 경우
#3. GPU 가 죽는 경우
셋 중 하나 같은데 어느날 갑자기 2개이상의 GPU 가 죽었다면 #1 확률이 가장 높아보이네요.
김영기님 말씀처럼 GPU 꺼내서 다른 서버/웤에 물려보면 바로 결과 나올듯 합니다.
교체 해야죠.