안녕하세요?
최근에 ESXI를 구축하고 특정 가상환경에 GPU를 2대 패스스루 해두었습니다.
딥러닝도좀 할겸 사용을좀 해보고있었는데요
이상하게 GPU1 번으로 학습하던 도중 GPU2에 특정 업무를 할당하니까 GPU1이 멈춥니다.(죽지는 않습니다.)
이후 GPU2에 할당된 업무가 끝나면 GPU1이 다시 동작하기 시작합니다.
관련된 이슈를 찾아보려해도 뭔가 잘 안나와서 질문드려봅니다.
ESXI에 gpu를 2대 패스스루하면 원래 병렬처리가 안되는걸까요??
가상화지원 PCIe : SR-IOV 설정이 되어 있나 보세요..
델서버나 HP 서버는 기본값이 Enable 인데요..
ESXi support for Intel iGPU with SR-IOV
https://williamlam.com/2023/11/esxi-support-for-intel-igpu-with-sr-iov.html
게스트 입장에선 그냥 그래픽이 2개 있는것뿐입니다
특정 업무가 무엇인지는 모르지만, 병목 현상을 일으킬만한 무엇인가 있지 않을까요?
딥러닝 학습을 진행시킬때 model A를 gpu1번에, model B를 gpu2번에 학습을 시킨다 하면, gpu1에서 잘 학습되던것이 gpu2가 학습을 시작한시점부터 학습을 종료할때까지 아예 돌아가지 않습니다. (사용율 0%)
동일한 코드를 esxi가아닌 일반 pc에서 돌리는경우 문제없이 두대의 gpu에서 잘 동작하기 때문에 코드문제는 아니지않을까 싶습니다.
https://octo.vmware.com/enable-compute-accelerators-vsphere-6-5-machine-learning-hpc-workloads/
덤으로 반드시 uefi부팅 설정도 되어있어야 합니다.