운영 중 GPU 하나가 Drop 됩니다.

구십평   
   조회 3961   추천 0    

 안녕Ȣ16;세요. 현1116; 구성 먼1200; 말씀 드리,192;습니다.

서버 : Dell R740 / GPU : Tesla T4 * 2EA (slot 1,8)

OS : CentOS 7.6

1228;목처/100; GPU가 nvidia-smi 명/161;1004;/196; 확1064; 시 .160;개가 1221;상1004;/196; 보1060;다가 Ǻ12;lj12; 순간 Ȣ16;나가 빠1256;버리lj16; 1060;슈가 0156;생합니다.

서버가 총 .160;대에 같1008; 구성1064;데 .160;대 모.160; ᇼ1;1068;합니다. 1116;ǥ12;ᔚ1; Ȣ16;면 1221;상1201;1004;/196; 다시 1064;식1008; .121;니다.

iDRAC 상에 특별한 /196;그lj16; 없고, GPU .168; 다 1064;식1008; .104;lj16;데 Ȣ16;나lj16; Available, 나머1648; Ȣ16;나lj16; Unavailable 1077;니다.

1201;1221; 온도 & 현1116; 온도 비교해도 비1221;상1201;1004;/196; 온도가 많1060; 높1652; 않습니다.

비슷한 1060;슈 겪Ǻ12;보신 ǥ16; 계시면 도움 1328; Ǻ19;고1088; 글 남깁니다.

1060;유가 뭐고 해결 0169;법1060; 뭘까요?
짧은글 일수록 신중하게.
epowergate 2021-02
델에 직접 문의 하세요
의외로 잘 알려 줍니다
     
구십평 2021-02
델에 직접 문의를 했는데 상황 설명을 해도 별다른 해결방안은 못찾고 있습니다 ㅜㅜ
          
epowergate 2021-02
그럴리가 없는데...  TSR 로그 분석 해보셨나요?
GPU DELL에서 구입하신건가요?
FAN이 high performance fan 맞죠?
               
구십평 2021-02
제가 오해의 소지가 있게 말씀 드렸네요. 정확히는 Dell에서 해결을 못해주고 있다기 보다는 해결 방안을 찾고 있습니다. iDRAC 로그 추출하여 보내드렸는데 로그 상으로는 별다른 문제점이 없다고 하시고, NVIDIA Fieldiag 로 상태 점검해서 결과 다시 보내달라고 하셨고 이 작업은 8시간 이상 소요된다고 하여 현재 운영중인 장비여서 해당 작업은 보류중이고, 로그 분석을 더 하시고 연락 주신다 하여 기다리고 있습니다. GPU는 같이 구매하였고 FAN이 High Performance fan은 혹시 성능 옵션을 말씀하시는건가요? 아니면 FAN 하드웨어의 스펙을 말씀하시는 걸까요? 일단 온도같은 경우는 정상 온도 범위 유지 중 입니다.
                    
epowergate 2021-02
FAN이 2가지가 있습니다.
TESLA등 GPU가 들어가면 High performance fan으로 들어가야 하는데
간혹 사재 (외부)로 GPU를 넣으면 기존에 있던 스탠다드 팬때문에 문제가 발생하곤 합니다.
                         
구십평 2021-02
dell에서 총괄적으로 구매한거라..
제온프로 2021-02
하나가 죽으면.. 자꾸 연산중에 죽습니다...
로그 확인해 보세요... R740은 풍량이 좀 모자랄 것 같습니다...

파워는 1100W 사용중이시죠 ??

실내 온도는 18도 이하이시죠 ??
     
구십평 2021-02
네 맞습니다. 온도는 잘 유지가 되는 중이고 파워는 1100W 사용중입니다. iDRAC 상에 특별한 로그가 남아있지 않습니다.
박문형 2021-02
문제가 무엇인지 모르기에 많이 짜증 나실 듯합니다만

자꾸만 스팩을 물어보는 이유는 GPU는 우선 전기를 많이 먹고 열도 마니 나기에 파워나 쿨링 옵션이 중요합니다..

그리고 DELL R740 모델에는 파워나 쿨릴 시스템등등이 종류기 많고 이에 따른 셋팅도 다 틀리다고 볼 수 있습니다..

기본적인 에러를 전반적으로 파악하시려면 서비스 메뉴얼 보시고 채크 해보시면 됩니다..


http://content.etilize.com/User-Manual/1062657175.pdf
https://dl.dell.com/topicspdf/poweredge-r740_owners-manual_ko-kr.pdf


그리고 GPU 문제는 실제로 답을 줄 곳은 nVidia 입니다..

그러나 현 상태에서는 nVidia GPU는 DELL에 OEM 되어 있고 여기에 대한 답은 DELL에서 줘야 합니다..


딥러닝용 GPU카드들은 nVidia와 어떻게든 연결되지 않으면 문제가 생겼을 때 어떻게 할 수가 없습니다..
     
구십평 2021-02
답변 감사합니다. 온도는 50도 정도 유지 중 이고, FAN의 경우 RPM이 알고리즘 상 자동으로 조절이 된다고 전달 받았는데 혹시 몰라 Max로 옵션 변경 후 모니터링 진행해보려고 합니다.
박문형 2021-02
제 개인적인 생각은 BIOS /BMC /각종 펌웨어 최신으로 올려보고 확인해보라는 것이지만

이게 정답이 아닐 수도 있고 하다가 꼬이면 더 힘들어지기에 우선은 DELL의 공식적인 답변 및 해결 방법을 기다려 보시는게 좋아 보입니다..



잘 해결 되시기를 기원합니다..
     
구십평 2021-02
답변 감사합니다.
epowergate 2021-02
헐, 혹시 vCS 라이센스 넣으셨나요?
     
구십평 2021-02
따로 특정 라이센스를 넣어준 기억은 없습니다. 서버 설치후 드라이버 설치 후 nvidia-smi 명령으로 확인이 잘 되는 상황이었는데, vCS 라이센스는 별개일까요?
          
epowergate 2021-02
필수고 별개입니다.
정말짜증나는 정책입니다.
NVIDIA에 라이센스 정책 문의해 보세요
라이센스없이 사용하면 돌다가 느려지고 결국 작동 중지합니다.
               
구십평 2021-02
제가 잘 몰라서 검색을 해보니 가상화 환경에서 사용하는 것 같던데 가상화 서버가 아닌 단일 서버여도 넣어야 하나요?
                    
epowergate 2021-02
단일서버도 있어야 합니다
델은 모를꺼고 앤비디아에 문의해 보세요
아주 지랄이죠
                         
구십평 2021-02
해당 라이센스를 따로 구매했는지도 잘 모르겠네요. 감사해요. 한번 문의 해보겠습니다.
vCS 라이센스를 안넣은 이유로 그럼 본문의 문제가 생겼을 가능성도 있을까요? 사용중에 하나가 빠지고, 재부팅하면 다시 인식이 되고..
                         
epowergate 2021-02
발생합니다.
저희 고객사에서도 A100 200개 구매했는데 유사한 문제를 격었습니다.
그쪽 증상은 처음에 돌다가, 느려 지다가, 멈추는 증상이었습니다.
참고로 License는 GPU 개당 라이센스 입니다
https://docs.nvidia.com/grid/latest/grid-licensing-user-guide/index.html#how-grid-licensing-works__vcompute-server-vgpu-license-requirements
여기에 나와 있습니다
병철 2021-02
라이센스 문제가 맞다면 아무리 라이센스 장사라지만 가지가지 하네요.. 물론 구매하면서 캐치하지 못한 사용자 과실도 있지만..
     
epowergate 2021-02
the performance of the virtual GPU or physical GPU is degraded over time if the VM fails to obtain a license.

How the performance of an unlicensed vGPU or physical GPU is degraded depends on how much time has elapsed since the VM was booted and the NVIDIA vGPU software graphics driver was loaded.
          
구십평 2021-02
혹시 정말 죄송한데, 제가 까막눈인지 지금 남겨주신 댓글이나 링크 들어가서 내용을 봐도 VM 환경에서 등록을 하는 과정인 것 같은데 혹시 단일 서버에도 등록을 해야하는 내용은 어디서 확인할 수 있을까요 ㅜㅜ? 내부적으로 내용 공유가 필요한데 NVIDIA에 다이렉트로 문의는 어려울 듯 해서..
               
epowergate 2021-02
문서상으로 명확하게 가상화라는 표현이 애매하게 되어 있습니다.
저도, 저희 고객도 많이 해맸습니다.
그래서 NVIDIA에 문의해 보시라고 말씀 드리는 겁니다.
DELL에서 구매했어도 NVIDIA에 문의하는데 전혀 문제 없습니다.  뭔가 아주 특별한 이유가 아닌 이상...
                    
구십평 2021-02
ㅜㅜ 혹시 nvidia 공식 홈페이지에서 지원 -> Enterprise Support -> NVIDIA GRID and vGPU Support 에서 로그인 후 문의하시는 경로로 문의하셨나요? 고객센터에 전화하려하니 한국 번호는 보이질 않네요.. 어떤 경로를 통해서 기술지원 문의를 하셨는지 알려주시면 정말 감사하겠습니다.
                         
epowergate 2021-02
저는 잘 모릅니다. 
저희 고객이 불러서 문의 했던걸로 알고 있습니다. 
대충 https://www.nvidia.com/ko-kr/contact/sales/ 여기에 물어보심 어떨까 합니다.
로그인 하시면 댓글을 남길 수 있습니다


QnA
쓰기
제목Page 275/420
2021-07   2322   1 애니악
2020-08   2568   1 반성만
2021-07   3825   1  맑은여름
2020-08   4218   1 강한구
2021-07   4968   1  블루영상
2020-08   3516   1 스님9
2021-07   44   1 나요
2020-08   3202   1 IRIX6530
2021-07   1672   1 dreamer74
2020-08   3238   1 Sakura24
2021-07   2229   1 고양시
2020-08   2352   1 룰루랄라
2021-07   1752   1 wguardian
2020-08   2595   1  원주멋진덩치
2021-07   4278   1 siasiadl
2020-08   6649   1 VSPress
2021-07   1531   1 알수없는힘
2020-08   2646   1 Noname1
2021-07   1970   1 엠브리오
2020-08   2684   1 GEUN
목록
쓰기