[Virtualbox] PCH의 PCie는 VT-d가 안된다?

izegtob   
   조회 7352   추천 0    

지금

버츄얼박스 위에 Pfsense를 올려서 방화벽을 만드는준비중이였는데 말입니다

http://2cpu.co.kr/vm/4771?&sfl=wr_subject&stx=sr+iov&sop=and

VT-d하고 SR-IOV 알아보고있던중

위와같은 게시물을 봤습니다

읽어보니

CPU에서만 나온 PCIe 레인에서만 VT-d나 SR-IOV가 되고

PCH에서 나온 PCIe 레인은 안된다고 하시더군요


문제는 제가 PCH의 pcie 2.0 x4에다가 듀얼 인텔 랜카드를 꽂아놨다는겁니다.

Pfsense에 다이렉트로 물려서 쓸 예정이였는데

PCH의 PCIe 레인에서 VT-d나 SR-IOV가 안되면 심히 골룸한 상태가됩니다...


이미 CPU에서 나온 20레인은...

아 하드웨어 구성을 언급을 안했군요

슈마 X9SCM-F

E3 1220V2 입니다.

여튼 CPU에서 나온 20레인은

8(레이드카드) + 8(레이드카드) + 4(10기가랜) 에다가 이미 다 줘버려서

남은건 PCH밖에 없는데...

여튼 비상이 걸려서


방금 급하게

버츄얼박스에 VT-d로 듀얼 랜카드 연결해봤습니다.

결과는...


일단 제 호스트의 pci 상황입니다


PCH에 연결된 랜카드는 82571EB 듀얼포트 입니다.

PCI 주소로 04:00.0 하고 04:00.1이 할당되있습니다.

일단 04:00.0을 할당해보겠습니다.


test라는 VM에 04:00.0을 게스트의 01:05.0으로 할당했습니다.

과연결과는?!



01:05.0에 잘 할당되있네요

'황혼을향해'님은 뭔가 설정?미스가 아니였나 감히 예측해봅니다...하하...;;


이상 5분테스트였습니다...


강영준2C 2016-04
추가로 새로안게 있다면
VT-d하면 호스트쪽의 Pcie는 없어질줄알았는데
그대로있네요..
황혼을향해 2016-04
음... 저의 경우 Windows Server 2012 R2 에서 SR-IOV만 테스트 했었고 VT-D는 테스트 못 해봤습니다.
SR-IOV의 경우 VT-D라고 통칭하는 기술의 하위기능 중 하나라고 들었기 때문에 VT-D가 된다고해서
SR-IOV가 된다고 하기에는 좀 이른 판단이 아닌가 싶네요. ^_^);;
     
강영준2C 2016-04
앗 그런가요 헉...
죄송합니다 ㅠ
저는 아직 VT-d와 SR-IOV의 차이도 잘몰라서...
VT-d가 하는일이 SR-IOV가 하는일과 같지 않나요? VT-d도 위에 댓글에 써뒀지만 host에 그대로 남아있더군요
Host와 여러 게스트가 한 NIC를 하드웨어적으로 공유해서 쓴다가 SR IOV아닌가요?
          
송주환 2016-04
SR-IOV는 NIC내에 각 VM마다 할당되는 가상 포트를 만드는 기능입니다. 하드웨어적으로요.
기존에 사용되던 큐 방식보다 더 나은 성능을 보여주겠지요.
          
황혼을향해 2016-04
필요하신 기능이 VT-D를 이용한 물리NIC의 VM할당이라면 지금 하시는대로 사용하시면 됩니다.
SR-IOV는 VM에 할당 가능한 물리 NIC이 한개인데 좀 더 많은 VM에 Hypervisor가 제공해주는
가상NIC보다 더 좋은 성능을 얻기위해 도입한 기술이라고 보시면 됩니다.
당연한 이야기지만 (좀 과장을 넣어) Hyperviosr Vitrual NIC << SR-IOV < Physical NIC 으로 성능이 증가한다고 합니다.
성능이 물리NIC보다 떨어지는대 왜 비싼돈 주고 쓰느냐?
Intel i350 랜카드의 경우 한 포트당 6개의 가상NIC을 제공해줍니다.
보통 듀얼 랜을 많이 사용하시니 총 12개의 VM에 성능좋은 가상NIC을 제공할 수 있는것이죠.
잘 기억은 안나지만 제가 파악한 바로는 인텔의 ET 듀얼, ET2 듀얼, ET2 쿼드 이렇게 3종류가
SR-IOV를 지원하는 걸로 기억합니다. ET 쿼드는 지원 안하는 신기한 모델이니 참고하세요~
더 자세한건 구글이나 인텔 홈페이지 혹은 예전에 제가 어딘가 적어놓은 글 찾아보시면 됩니다.
               
송주환 2016-04
i350과 ET2는 다른 카드 아니었던가요?
i350을 빠드리신건지.. 갑자기 헷갈리네요.

그리고 뱀발을 붙이자면 SR-IOV 지원 유무로 1Gbps 환경에서 의미 있는 수준의 차이를 보이진 않을 것 같습니다.
                    
황혼을향해 2016-04
i350도 SR-IOV를 지원합니다. ET시리즈 위에 i350도 지원한다고 적어놓았기에 따로 언급하지 않았습니다.
그리고 예전에 한참 찾아보니 ET 시리즈와 i350이 같은(혹은 비슷한) 세대의 칩셋을 쓴다는 글을 본 것 같습니다.
성능쪽은... 제 개인적인 체감이었지만 반응 속도가 좀 빨라지는 것 같았습니다.
찾아본 다른 자료에서는 SR-IOV의 도입이 VM의 자체 성능을 높이는 것보다 하이퍼바이저가 네트워크에 투자하는
리소스를 줄임으로써 전체적인 성능이 좋아진다고 하더군요.
뭐... 저도 최근 시스템들에게 뭐가 좋니 나쁘니 하는건 별 의미없다고 생각은 하고있습니다.
다만, 좀 더 좋다는 소리가 있길래 팔랑귀인 저로써는...  ^_^);;
          
강영준2C 2016-04
모두 감사드립니다
오늘도 많이 배워갑니다...
               
PiPPuuP 2016-04
SR-IOV는 NVIDIA GRID K 같은 종류의 하드웨어적으로 가상화를 지원하는 장비입니다.
제가 저번에 VT-D로 카드 자체를 할당하는것 대신 이것을 추천하여 헷갈리신거 같습니다(분명하게 차이점을 설명하지 않은거에 대해 죄송합니다).
성능은 황혼을향해님께서 적어주신 것처럼 하이퍼바이저 Virtual NIC <<< SR-IOV ≤ Physical NIC 입니다.
SR-IOV와 Physical NIC사이가 ≤ 인 이유는 일부 지표는 제한적 조건하에 사실상 동등한 성능을, 다른 지표는 조금 떨어지는 성능을 보여주기 때문입니다.
당장 전체 대역폭만 보아도 NIC의 물리적 대역폭에 제한을 받게 되니, 제공되는 vNIC가 온전한 Physical NIC의 성능을 내는건 당연 불가능합니다.
하지만 emulation된 Virtual NIC와의 비교는, 하이퍼바이져가 에뮬레이션한 vGPU와 Nvidia GRID K series같은 하드웨어가 제공하는 vGPU 차이만큼 큽니다.
가장 큰 차이점은 하드웨어가 제공하는 고급기능들을 온전히 가속을 받으면서 누릴 수 있다는 것입니다(마치 NVIDIA GRID K의 vGPU가 CUDA가속을 지원하는 것처럼).

즉 SR-IOV는 하드웨어가 제공하는 vNIC만큼, 마치 물리적으로 분리되어 각 VM에 붙은것처럼 동작합니다.
시스템의 VT-D를 이용하여 작동하기 때문에 CPU 오버헤드가 전혀 없는건 아니지만, 당연 순수 CPU emulation보다는 탁월하게 뛰어난 성능을 보입니다.

그리고 또 다른 큰 장점은 Hypervisor에 의해 관리되면서 동작하기 때문에 VT-D로 카드를 직접 붙인거에 비해 매우 안정적이고(적어도 리붓했다고 가끔 도로 떨어져나가거나, guest에서 아예 인식불가가 되는 pcie vt-d랑은 차원이 다릅니다), 직접 붙인거에 가까운 완전한 하드웨어 기능과, 거의 비슷한 퍼포먼스를 제공하면서도, 하이퍼바이저에 의해 자원관리가 제대로 된다는 것에 있겠습니다(VT-D로 PCIe장비를 direct로 붙이면 hypervisor는 해당장비를 더이상 못건드리는거에 비하면 매우 큰 차이점입니다).


제목Page 83/130
2014-05   5268519   정은준1
2015-12   1793542   백메가
2016-02   8589   황혼을향해
2014-01   8591   s김종화z
2015-03   8596   민사장
2020-07   8602   삼선동고니
2016-11   8607   우야노
2016-07   8611   황진우
2019-05   8612   작은악마
2014-02   8619   readytoact
2014-03   8624   에라뇽
2013-09   8637   QS왕통키손…
2014-07   8637   chotws
2014-07   8638   에라뇽
2017-05   8647   Wyse
2014-03   8659   김황중
2022-09   8661   토이스토리
2015-05   8663   judeivan
2017-12   8670   킵고잉
2015-09   8680   노인님
2016-03   8685   DDAYs
2016-04   8688   izegtob