안녕하세요. 고수님들께 문의 사항이 있어 글 올립니다.
1.서버 : DL380a GEN11 (2CPU)
2.환경 : 우분투 22.04
3.GPU : H100 * 2EA
4.내용
H100 2장을 각각의 슬롯에 맞게 장착하였고
테스트 프로그램 1장, 1장씩 돌리면 처리 속도가 빠른데
2장을 동시 돌리면 처리 속도가 늦어 지고 있습니다.
장착된 서버에 PCIe 슬롯의 속도는 x16인데 한개는 정상적으로 x16으로 나타나는데
LnkCap : port #0. speed 32GT/s, Width x16 나오는데
LnkSta : speed 32GT/s (ok), Width x8 (downgraded) 나오는데 변경 방법이 있는지요?
다른 장비는 정상적으로 작동하고 있습니다.
처리 방법 부탁 드립니다.
16배속을 지원하는 슬롯과 카드인데도 8배속으로 속도가 떨어진 것이기에 카드/PCIe 슬롯/보드/ CPU 연결 상태 등을 확인하여 문제가 있는지 찾아내야 합니다..
물리적인 손상이 있을수 있습니다..
여러장의 카드를 달았을때도 풀배속을 지원하는지 매뉴얼 찾아보시거나 제조사에 문의해보세요
라이저2쪽은 16배속인데, 1쪽은 1개만 16배속이네요
그러니 만일 거기 물리시면 당연히 저렇게 뜹니다
느려지는건 온도라던가 그래픽 외부의 요소까지 반영되다보니 하나씩 체크해보세요
그리고 같은 라이저의 대역폭 완전 분리인지도 수상합니다
https://www.intel.co.kr/content/www/kr/ko/products/sku/231737/intel-xeon-gold-6430-processor-60m-cache-2-10-ghz/specifications.html
스팩에 따르면 80레인 제공하는데 라이저 2개가 80을 제공하네요
그럼 NIC같은건 대체 뭘로 물린걸까요?
아마 스위치 있을꺼같네요
8배속에 꽂아봐야 계속 8배속입니다.
GPU Riser board 와 System board 연결된 Cable을 양쪽 모두 재연결 해보시고, 상태가 같다면 점검 받아 보시는 것이 맞을 듯합니다.