¶óÀÌÁ¨ ½Ã½ºÅÛ ESXi Æнº½º·ç °ü·Ã

   Á¶È¸ 8498   Ãßõ 1    

안녕하세요. 오랫만에 작성하는 글이 질문글이네요.


ESXi 패스스루 관련하여 문제가 있어 조언구하고자 합니다.

먼저 기존에 쓰던 인텔 시스템 사양입니다.


CPU : 8700t es

M/B : ASRock H370M ITX/ac

RAM : 32G (16G * 2ea)

HDD : WD 10TB * 3ea, 노트북용 3TB  * 1ea, SSD 2TB * 2ea, NVME 1TB * 1ea

RAID : SI-PEX40071(마벨 칩셋 SATA 8Port)

Chassis : U-NAS NSC-810A

PSU : Seasonic SS-350M1U 350w (80+ GOLD)

CPU Cooler : itx30 

Hypervisor : ESXi 6.7 U2


위 사양에 라이젠 1700, 64gb 메모리, msi b350m 박격포, 쿼드로 p400 만 추가, 변경되었습니다.


일단 인텔시스템에서는 sata 확장카드 패스스루하여 잘 사용중이었습니다만, 

AMD 라이젠 시스템으로 교체하면서 패스스루에 문제가 발생했습니다.


1. SI-PEX40071 패스스루

인텔 시스템에서는 패스스루 자체는 잘되었습니다.

패스스루 한 뒤, 가상머신 옵션에 따라 부팅 문제가 있긴했지만 큰 문제는 아니어서 일부 옵션 수정 후 정상 사용했었습니다.

(부팅옵션 EFI->BIOS변경으로 해결)


이게 AMD시스템으로 넘어온 뒤로는 패스스루 자체가 정상적으로 동작되지 않습니다.

http://2cpu.co.kr/bbs/board.php?bo_table=QnA&wr_id=669340

위 게시글과 완전히 동일한 문제입니다. 패스스루 후 재부팅해도 적용되지 않습니다

패스스루를 취소하면 ESXi에 SATA 확장카드 및 연결된 하드디스크들은 정상적으로 잘 올라옵니다.


2. 쿼드로 P400 패스스루

이건 AMD시스템으로 넘어오면서 신규 추가한 것입니다.

패스스루 자체는 정상적으로 진행되지만, 가상머신 전원이 켜지지 않는 문제가 발생합니다.

--------------------------------------------------------------------------------------------------------------

실패 - 모듈 'DevicePowerOn'의 전원을 켜지 못했습니다.

오류

모듈 'DevicePowerOn'의 전원을 켜지 못했습니다.

하드웨어 또는 소프트웨어 지원을 사용할 수 없기 때문에 38:0.0에 대해 pciPassthru0 디바이스를 등록하지 못했습니다.

가상 시스템을 시작하지 못했습니다.

----------------------------------------------------------------------------------------------------------------


구글링 중입니다만, 하면할수록 AMD 시스템 호환성 문제 같다는 생각이 드네요.

혹시 해결하신 분들 계신가요?

ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
±èÁ¦¿¬ 2019-07
https://jc-lan.org/2017/03/05/esxi-6-5-guest-fails-to-power-on-with-new-pass-through-device/

2¹ø° ¹®Á¦´Â ±âÁ¸¿¡ ´Þ·ÁÀÖ´ø pci ÀåÄ¡¸¥ vmx ÆÄÀÏ¿¡¼­ Á¦°ÅÇÏ°í Çغ¸¶ó³×¿ä
     
ÇØ´ç ±ÛÀº ÀÌ¹Ì ½ÃµµÇغÃÁö¸¸ ¸¶Âù°¡Áö´õ¶ó±¸¿ä.
°¡»ó¸Ó½Åµµ ½Å±Ô »ý¼ºÇؼ­ ½ÃµµÇغÃÁö¸¸ µ¿ÀÏ ¿¡·¯¹ß»ýÇÕ´Ï´Ù¤¾
µÎ¹ø° Áú¹®ÀÎ Æнº½º·ç ÈÄ Àú·± ¹®Á¦ÀÇ °æ¿ì. Intel, AMDÀÇ ¹®Á¦¶ûÀº °ü°è°¡ ¾ø´Â °ÍÀ¸·Î
°¡»ó¸Ó½ÅÀÇ ¸Þ¸ð¸®¸¦ ¼öµ¿À¸·Î ÇÑ´ÙÀ½ ¸Þ¸ð¸® ÇÒ´çÀ» ÀüºÎ ¿¹¾à (reserved memory¸¦ Àüü·Î ÀâÀ¸¸é)À¸·Î ÇØÁÖ¸é ÇØ°á µË´Ï´Ù.
     
½º¸° 2019-07
ÀÌ ³»¿ëÀÌ ¸Â½À´Ï´Ù.
     
Â÷¶ó¸® ÀÌ ¹®Á¦¿´À¸¸é ÁÁ¾Ò°Ú½À´Ï´Ù¸¸, ½Å±Ô ¸Ó½Å »ý¼º ½Ã ¸Þ¸ð¸® ¿¹¾à ¿É¼ÇÀ» üũÇÏÁö ¾ÊÀ¸¸é,
Æнº½º·ç ÀÚü¸¦ ¸øÇÏ°Ô µÇ¾îÀ־ ¸»¾¸ÇϽŠ¿øÀÎÀº ¾Æ´Ñ °ÍÀ¸·Î º¸¿©Áö³×¿ä.
±èÁ¦¿¬ 2019-07
esxi ÃֽŠ¹öÀüÀ¸·Î Çѹø ½Ãµµ Çغ¸¼¼¿ä .
     
6.7 update2 ÃֽŹöÀü ÀÌ¹Ì »ç¿ëÁßÀÔ´Ï´Ù.
1¹ø ÀÚ´äÇÕ´Ï´Ù.

¶óÀÌÁ¨ ½Ã½ºÅÛ¿¡¼­´Â 1,3 ¹ø ½½·ÔÀÌ °øÀ¯µÇ¾î »ý±â´Â ¹®Á¦·Î º¸¿©Áý´Ï´Ù.
p400°ú sataÄ«µå À§Ä¡¸¦ ¹Ù²ãº¸¸é À̹ø¿£ p400 Æнº½º·ç°¡ ¾ÈµÇ³×¿ä.

iommu ±×·ìÀÌ °°¾Æ¼­ »ý±â´Â ¹®Á¦°°Àºµ¥ À̺κÐÀº Á¤È®ÇÏÁö ¾Ê½À´Ï´Ù.

ÀÏ´Ü À̹®Á¦´Â pcie 1x ½½·Ô¿¡ ²Å¾Æº¸¸é È®½ÇÇØÁú °Í °°³×¿ä.
¶óÀÌÀúÄÉÀ̺í ÁÖ¹®Çß½À´Ï´Ù. ÃßÈÄ °á°ú´Â ÇØ´ç µ¡±Û¿¡ ¹Ý¿µÇسõ°Ú½À´Ï´Ù.


2¹ø ÀÚ´äÇÕ´Ï´Ù.

/etc/vmware/passthru.map ÆÄÀÏ¿¡ Æнº½º·ç °ü·Ã Á¤º¸°¡ ÀԷµǾîÀÖ½À´Ï´Ù.
ÀÌ ºÎºÐ¿¡ nvidia °ü·Ã ±×·¡ÇÈÄ«µåµéÀº ¸ðµÎ bridge ¹æ½ÄÀ¸·Î µ¿À۵ǵµ·Ï µÇ¾îÀÖ¾ú³×¿ä.
10de  ffff  bridge  false --> 10de (Æнº½º·ç µð¹ÙÀ̽ºid) d3d0 false
·Î º¯°æÇØÁÖ½Ã¸é µË´Ï´Ù.

ÇÑ°¡Áö Àǹ®ÀÎ °ÍÀÎ ESXi 6.7 U2±âÁØ µðÆúÆ®°ªÀÌ bridge ¼³Á¤ÀÔ´Ï´Ù.
(ÀÌ·± ÀÌÀ¯·Î nvidia ±×·¡ÇÈÄ«µå Æнº½º·ç ȣȯ¼ºÀÌ ¸¹ÀÌ ¶³¾îÁø´Ù´Â °Í °°³×¿ä. )

Æнº½º·ç ÈÄ hypervisor.cpuid.v0=FALSE ¼³Á¤ÇØÁ൵ µå¶óÀ̹ö ¼³Ä¡ ½Ã ¿¡·¯´Â ¹ß»ýÇÕ´Ï´Ù¸¸,
µ¿ÀÛÀº ¾Æ¹«¹®Á¦ ¾øÀÌ Àß µÇ³×¿ä.

´ÙÀ½ ¸µÅ©¿¡ ÀÚ¼¼ÇÏ°Ô ÀûÇôÀÖ½À´Ï´Ù.(»ç½Ç ÇØ´ç ±ÛÀº À̽´ ¹ß»ý Ãʱ⿡ ºÃ´ø ±ÛÀε¥, Á¤µ¶À» ÇÏÁö ¾Ê°í Àû¿ëÀ» Çß´õ´Ï ÀÌ·± »çÅ°¡ ¹ß»ýÇϳ׿ä)
https://www.reddit.com/r/Amd/comments/72ula0/tr1950x_gtx_1060_passthrough_with_esxi/
     
±¸±Û¸µÀ» ÇÏ´Ùº¸´Ï 1¹ø ¹®Á¦´Â ¶óÀÌÁ¨ ½Ã½ºÅÛÀÇ °íÁúÀûÀÎ IOMMU ¹®Á¦·Î º¸¿©Áý´Ï´Ù.
¸ðµç PCI ½½·ÔÀÌ ÇϳªÀÇ ±×·ìÀ¸·Î ¼³Á¤µÇ¾î ESXi¿¡¼­ Á¤»óÀûÀ¸·Î Æнº½º·ç ÇÒ ¼ö ¾ø´Â ¹®Á¦ÀÌ°í,
¸¹Àº »ç¶÷µéÀÌ ESXi Æнº½º·ç ȣȯ¼ºÀ̶ó°í ºÎ¸£´Â °ÍÀÌ ÀÌ ¹®Á¦ÀÎ °Í °°½À´Ï´Ù.

ÀÏ´Ü Á¦°¡ °Ë»öÇϱâ·Î´Â ESXi + ¶óÀÌÁ¨ Á¶ÇÕ¿¡¼­ ¸ÖƼ pci Æнº½º·ç¸¦ ÇÏ·Á¸é IOMMU Group ¼³Á¤À» ¾Ë¾Æ¼­ ÀßÇØÁÖ´Â º¸µå¸¦ °í¸£´Â ¹æ¹ý¹Û¿¡´Â ¾ø½À´Ï´Ù.
(´ëüÀûÀ¸·Î 16x ¸ÞÀÎ ½½·Ô ÇÑ°³´Â Á¤»óÀûÀ¸·Î Æнº½º·ç°¡ ÀßµÇ´Â°Í °°½À´Ï´Ù)

¹®Á¦´Â °°Àº º¸µå¿¡¼­µµ ¹ÙÀÌ¿À½º¿¡ µû¶ó Á¶±Ý¾¿ º¯°æµÇ´Â °æ¿ìµµ Àֱ⠶§¹®¿¡ º¸µå °í¸£´Â°Ô ½±Áö ¾Ê´Ù´Â °ÍÀ̳׿ä.

ESXi¸¦ ¹þ¾î³ª¸é ´äÀÌ ¾ø´Â °ÍÀº ¾Æ´Õ´Ï´Ù.
¸®´ª½º ±â¹Ý ÇÏÀÌÆÛ¹ÙÀÌÀú¸¦ »ç¿ëÇϸé ACS Override¸¦ ÅëÇØ ±×·ì¼³Á¤À» ÀÓÀÇ·Î º¯°æÇÒ ¼ö ÀÖ´Â °Í °°½À´Ï´Ù¸¸,
ÀúÀÇ °æ¿ì ESXi¸¦ »ç¿ëÇÒ °ÍÀ̹ǷΠÇØ´ç»çÇ×ÀÌ ¾ø´Â °Í °°³×¿ä.

°á·ÐÀûÀ¸·Î´Â 1¹ø¹®Á¦´Â ÇöÀç ÇØ°áÀÌ ºÒ°¡´ÉÇÑ ºÎºÐÀÔ´Ï´Ù.
Ȥ½Ã³ª ´Ù¸¥ ¹æ¹ýÀ¸·Î ¶óÀÌÁ¨ ½Ã½ºÅÛ¿¡¼­ ¸ÖƼ pci Æнº½º·ç¸¦ ÇÏ´Â ¹æ¹ýÀ» ¾Æ½Ã´ÂºÐÀº ÄÚ¸àÆ® ºÎŹµå¸³´Ï´Ù.
------------------------------------------------------------------------------------------------
1¹øÇ׸ñ Á¤Á¤ÇÕ´Ï´Ù.
VMkernel.Boot.disableACSCheck = TRUE·Î º¯°æ ½Ã, ÀÏ´Ü Æнº½º·ç ¹«ÇÑ ÀçºÎÆà ȸÇÇ´Â °¡´ÉÇÑ °ÍÀ¸·Î º¸¿©Áý´Ï´Ù.
(Æнº½º·ç ÈÄ ½Ç»ç¿ë½Ã µ¿ÀÛÀÌ ºÒ¾ÈÁ¤ÇÑ °æ¿ì°¡ ÀִµíÇÕ´Ï´Ù)

Ȥ½Ã³ª °°Àº °í¹ÎÀ» ÇϽô ºÐµéÀº http://2cpu.co.kr/vm/10152 °Ô½Ã±Û Âü°í ¹Ù¶ø´Ï´Ù.
º¸µå ¼±Á¤¿¡ µµ¿òÀÌ µÇ½Ç°Ì´Ï´Ù.
          
VMkernel.Boot.disableACSCheck = TRUE·Î º¯°æ ½Ã, ½Ã½ºÅÛÀÌ ºÒ¾ÈÁ¤ÇÏ´Ù¸é ESXi ÃֽŹöÀü(ÇöÀç ±âÁØ ESXi 6.7 U3)À¸·Î ¾÷µ¥ÀÌÆ® Çغ¸½Ã±â ¹Ù¶ø´Ï´Ù.
update2¿¡¼­ ¹ß»ýÇÏ´ø °£ÇæÀû ÀçºÎÆà ¹®Á¦°¡ update3¿¡¼­ ÇØ°áµÇ¾ú½À´Ï´Ù.


QnA
Á¦¸ñPage 151/5574
2014-05   4442008   Á¤ÀºÁØ1
2015-12   998570   ¹é¸Þ°¡
2023-06   643   »ç¶ûÇ϶ó
2023-06   752   ¾¾Ç»ÁöÇ»
2023-06   1389   tantan11
2023-06   1494   ±è¹ÎöGC
2023-06   1302   ´ëÀü±èÇü¿î
2023-06   1557   ¸í¶û
2023-06   1598   ÇÏÅ°02
2023-06   3747   ºí·ç¿µ»ó
2023-06   1846   È£¹Ú°í±¸¸¶
2023-06   1100   tuffguy7
2023-06   977   ȲÀ¯½Ä
2023-06   890   ³ª¶ó»ç¶û
2023-06   991   ¾¾Ç»ÁöÇ»
2023-06   1188   Ȧ¸¯0o0
2023-06   877   Àü¼³¼ÓÀǹ̡¦
2023-06   1280   ÁÒ½´¾Æ
2023-06   663   »õÃÑ
2023-06   1415   ¾Øµðĵµð
2023-06   1508   2CPU2
2023-06   1601   Á¤¹«Çö