잘 아시다시피 Nutanix에는 CVM (Controller VM)이 있고, CVM이 모든 I/O를 제어하는 구조를 가지고 있습니다.
이러한 아키텍처의 문제점은 모든 I/O가 CVM을 통과하면서 추가적인 오버헤드가 발생하고, CVM 자체가 병목 지점으로 작용할 수 있다는 것인데
특히 Context Switching 오버헤드가 심각할 것 같아 보입니다.
Nutanix의 이러한 아키텍처 구조에 따른 I/O 오버헤드가 실제로 어느 정도 수준인지 (latency increase), 그리고 어떤 I/O가 영향을 받는지 (디스크 IO만? 네트워크는? PCI-E 장치는?)
정리된 자료가 있을까요?
Nutanix ´Â ÃÖ¼ÒÇÑ 3 node ÀÌ»óÀ¸·Î ±¸¼ºÇØ¾ß ÇÕ´Ï´Ù.
(Ư¼ö ±¸¼º½Ã¿¡ 2 node ·Î ±¸¼ºÀÌ °¡´ÉÇϱä Çѵ¥..)
1. µ¥ÀÌ´õ ·ÎÄø®Æ¼
VMÀÌ ÇϳªÀÇ node¿¡¼ ¿î¿µµÇµµ·Ï ÇÕ´Ï´Ù.
disk pool ÀÌ ÀüüÀÇ Çϳª·Î º¸ÀÌ°Ô µË´Ï´Ù¸¸ VMÀÇ µ¥ÀÌÅÍ ÆÄÀÏÀÌ ÇϳªÀÇ ³ëµå¿¡¼ ¸ðµÎ ¿òÁ÷ÀÏ ¼ö ÀÖµµ·Ï CVMÀÌ Á¶Á¤À» ÇÕ´Ï´Ù.
2. µ¥ÀÌÅÍ Æ¼¾î¸µ
hot / cold ¿µ¿ªÀ¸·Î ½ÇÁ¦ VMµ¥ÀÌÅÍ´Â CVM¿¡¼ ¼±¾ðÇÑ ¸Þ¸ð¸® ¿µ¿ª¿¡¼ µð½ºÅ© IO°¡ hot (ssd)¿µ¿ª¿¡ ¾²¿©Áö¸é¼ÀϾ°í »ç¿ëºóµµ°¡ ³·Àº µ¥ÀÌÅÍ´Â cold (hdd) ¿µ¿ªÀ¸·Î ³»¸®°Ô µË´Ï´Ù.
±×·¡¼ ´Ù¸¥ HCI¼Ö·ç™n ó·³ ÇÏÀ̺긮µå·Î µð½ºÅ©¸¦ ±¸¼ºÇصµ disk i/o¿¡ ´ëÇÑ ¼º´ÉÀúÇÏ°¡ ¾ø´Ù°í ÇÕ´Ï´Ù.
nitanix µµ ´ÜÁ¡ÀÌ Àִµ¥,
Àú CVMÀÌ ÇÙ½É VMÀÌ´Ùº¸´Ï disk io°¡ ¸¹Àº ȯ°æ¿§¼´Â CVM¿ë·®À» Å©°Ô Àâ¾Æ¾ß ÇÕ´Ï´Ù.
3°³ ³ëµåÂ¥¸® 32GB¸¦ CVMÀ¸·Î ±¸¼ºÇϸé 32¡¿3=96±â°¡°¡ ¸ø¾²°Ô µÇÁÒ.
¶ÇÇÑ,Áö³ªÄ¡°Ô ³×Æ®¿öÅ© ¾ÈÁ¤¼º¿¡ ÀÇÁ¸ÀûÀÔ´Ï´Ù. nutanix ´Â ¸ðµç node °£ ¿¬°áÀ» ÀüºÎ ³×Æ®¿öÅ©¿¡ ÀÇÁ¸ Çϱ⠶§¹®¿¡...³×Æ®¿öÅ©°¡ ºÒ¾ÈÇϸé node °£ ¹«°á¼ºÀÌ ¹«³ÊÁö¸é¼ ½Ã½ºÅÛ Àüü°¡ ¹«³ÊÁú ¼ö ÀÖ½À´Ï´Ù. ±×·¡¼ ¹Ýµå½Ã ³×Æ®¿öÅ©¸¦ ÀÌÁßÈ ½ÃÄѼ ¿î¿µÇØ¾ß ÇÕ´Ï´Ù.
±âº»ÀûÀ¸·Î 10GbEÀÌ»ó±ÞÀÇ ³×Æ®¿öÅ©¸¦ ÀÌÁßÈ ±¸¼ºÇؼ ¿î¿µÇØ¾ß ÇÕ´Ï´Ù.
Àüü ¸Þ¸ð¸®°¡ 128 À̶ó¸é CVMÀÌ 32 ·Î ±¸¼ºÇÑ´Ù°í ÃÆÀ»¶§ °è»ê»óÀ¸·Î´Â 96¿¡ ÀÚ¿øÀÌ ³²½À´Ï´Ù¸¸ ½ÇÁ¦·Î ÇϳªÀÇ ³ëµå°¡ ¹«³ÊÁ³À»¶§ ´Ù¸¥ °÷À¸·Î ºÐ»êÇÏ¿© ÀÚ¿øÀ» ¹èÄ¡ÇØ ³Ñ°Ü¾ß Çϱ⠶§¹®¿¡ 33%ÀÇ ¸Þ¸ð¸® ÀÚ¿ø µð½ºÅ©ÀÚ¿øÀ» ¾²Áö ¸øÇÏ´Â ¹®Á¦µµ ÀÖ½À´Ï´Ù. (¾µ ¼ö´Â ÀÖÁö¸¸ ·¹Áú¸®¾ð½º¿¡ °æ°í°¡ ¶ß°Ô µË´Ï´Ù.) ¸¸¾à ÇϳªÀÇ ³ëµå°¡ Á׿¡ µÇ¸é ³ª¸ÓÁö µÎ°÷¿¡ VMÀ» ¸ð¼ÇÇؼ ³Ñ±â·Á°í Çصµ °ø°£ÀÌ ¾øÀ¸´Ï ÀÚ¿øÀ» ÇÒ´ç¹ÞÁö ¸øÇÏ´Â VMÀº ºÎÆÃÀÌ µÇÁö ¾Ê°ÚÁÒ.
4node¸¦ µå¹Î ÀÌÀ¯°¡ Ŭ·¯½ºÅÍ ±âº» ¼º´É ±¸¼º ³ëµå ¶§¹®¿¡ ±×·¨´ø°Í °°³×¿ä.
°¡²û¾¿ ¸ÞÀϸµµµ ¿À°íÇÏ´øµ¥ ¿äÁòÀº ¶äÇϱäÇϳ׿ä.
±×¶§ Àá½Ã ºÐ¼®ÇßÀ»¶§, °³³äÀûÀ¸·Î ºÐ»êŬ·¯½ºÅÍÆÄÀϽýºÅÛ ±â¼úÀ§¿¡ °¡»óȱâ´ÉÀ» ±¸ÇöÇÑ°³³ä ÇüÅ·Πº¸¿©¼ ³×Æ®¿öÅ© º´¸ñÀÌ ¸¹À»°Í °°´Ù´Â »ý°¢ÀÌ µé´õ±º¿ä.
º°µµÀÇ ºÐ»êŬ·¯½ºÅÍ ¸ÞŸ¼¹ö±¸Á¶´Â ¾Æ´Ï¿´´ø°Í °°°í, º°µµÀÇ ÁÖµ¿ÀÚ°¡ Àִٱ⠺¸´Ù´Â, ÄÁ¼¾¼½º ÇÕÀÇ¾Ë°í¸®Áò ÇüÅ·Π¸®´õ°¡ ¹Ù²ð¼ö ÀÖ´Â
±¸Á¶·Î º¸¿©Áö±â´Â ÇÑ°Í °°½À´Ï´Ù. ³×Æ®¿öÅ© Ŭ·¯½ºÅÍ ±â¹ÝÀÌ¸é ¿¹ÃøÇϽðÚÁö¸¸, º´¸ñÀº ³×Æ®¿öÅ©ÂÊÀÌ Á¦¹ý¹ß»ýÇÏÁö ¾ÊÀ»±î ½Í½À´Ï´Ù.
Ŭ·¯½ºÅÍ °ü¸® ¹× ±âŸµîµî ±â´ÉÀÇ CVMÀÌ °¡»ó¸Ó½Å ÇüÅ·Πµµ´Â°Í °°³×¿ä. CPU/MEMMORY/NETWORK Æ©´×Æ÷ÀÎÆ®¸¦ Àß ÀâÀ¸¼Å¾ß ÇÒ°Í °°½À´Ï´Ù.
¿¹Àü¿¡ ÁöÀÎºÐµé º¸¸é ºòµ¥ÀÌÅÍ ³ëµå °¡»óÈ·Î ¸¹ÀÌ ¿Ã·Á¼ ½ºÆ®·¹½º Å×½ºÆ® Çß´ø°Í °°½À´Ï´Ù Splunk, Hadoop ...
±¸±Û¸µÀ¸·Î ãÀº ¸î°¡Áö ÀÚ·á Âü°í°¡ µÇ½ÇÁö ¸ô¶ó¼ ¸µÅ©³²°Üµå¸³´Ï´Ù.
https://www.n0derunner.com/category/nutanix/
https://www.n0derunner.com/nutanix-performance-for-database-workloads/
https://vcdx133.files.wordpress.com/2019/10/the-nutanix-design-guide-first-edition.pdf
±×·±µ¥ ½ÌÅ©¹æ¹ýÀº 10Gµç 40Gµç ¿¬°á±¸Á¶°¡ µÇ¾î¾ß Çϴµ¥ ÀϹÝÀûÀ¸·Î 10G¸¦ ¾²°í ÀÖ´õ¶ó±¸¿ä. ¿¹»óµ¥·Î µð½ºÅ© ¼Óµµ´Â FC³ª ´ÙÀÌ·ºÆ® 10G/40G ¿¬°áÇؼ ¾µ¶§º¸´Ù ¸¹ÀÌ Àã°°½À´Ï´Ù. ±×·¸´Ù°í ¸ø¾µÁ¤µµ´Â ¾Æ´ÏÁö¸¸ °í¼Ó IO¸¦ ¿ä±¸Çϴµ¥´Â ¾ÆÅ°ÅØÃÄ»ó ÇÑ°è°¡ ÀÖ½À´Ï´Ù.
±×¸®°í º¨¿þ¾î³ª Hyper-V´Â VM¿¡ ´ëÇؼ ¸¹ÀÌ ÀÚÀ¯·Î¿îµ¥ ´ºÅ¸´Ð½º´Â Ç×»ó ȣȯÀÌ µÇ³ª ¾ÈµÇ³ª´Â üũÇÏ°í ½ÃÀÛÇؾߵ˴ϴÙ. ÀÌ°Å ¹«½ÃÇÏ°í ÇÒ·Á´Ù ´Ù¸¥°Ç ´Ù µÇ´Âµ¥ ¿Ö ÀÌ°Ç ¾ÈµÇÁö?ÇÏ¸é¼ ¸àºØ¿Ã¶§°¡ ¸¹½À´Ï´Ù.
¿©·¯°¡Áö·Î ¿ì¸®°¡ »ý°¢Çß´ø VM ÀÌ·± ±Ø¾ÇÀÇ È£È¯¼ºÀ» ¿·¿¡¼ ±¸°æÇÑÈÄ·Î °ü½É ²÷¾î¹ö·È½À´Ï´Ù.(À§¿¡¼ Áö½ÃÇÏ´Ï±î ¾²´Â°ÅÁö À̵ûÀ§°É)
±×·¡µµ Ŭ¶ó¿ìµå ½Ã´ë¿¡ ¸Â°Ô ÀÎÅÍÆäÀ̽º´Â ±ò²ûÇÏ°í ¸ÚÀÖ±ä ÇÏ´õ¶ó±¸¿ä.(¿Ü°ü¿¡¸¸ ¸ô»§ÇÑ°Åó·³ º¸ÀÓ)
¾Æ´Ï¸é direct io ¶Ç´Â pass-throught device¸¦ Áö¿øÇؼ Á» ´õ ÁÁÀº ¼º´ÉÀ» Á¦°øÇÒ²¨³Ä?
¸¹Àº °¡»óÈ Á¦Ç°/ȸ»çµéÀÌ ½ºÅ丮Áö °¡»óÈ¿¡ ±â¹ÝÇÑ ±â¼ú-Á¦Ç°-±â´ÉÀ» Á¦°øÇϱ⠶§¹®¿¡ °³ÀÎÀûÀ¸·Î´Â 1À» ¼±È£ÇÕ´Ï´Ù.
´çÀå 2 ¹æ½ÄÀº ¹é¾÷-motion µîÀÇ ±â´ÉÀ» Á¦°øÇÏ·Á¸é 1) ±¸Çö ³À̵µ°¡ ³ô¾ÆÁö°í ¹× 2) ´Ù¾çÇÑ ±â¼úÀ» ´Ù Æ÷¿ëÇϱ⵵ ¾î·Æ½À´Ï´Ù.
Áú¹®¿¡ ´äÀ» µå¸®¸é (2021³â ±âÁØ) °¡»óȸ¦ Çؼ ¹ß»ýÇÏ´Â overhead´Â 3% ¹Ì¸¸À» °¡ÀÌµå ¶óÀÎÀ¸·Î ÇÕ´Ï´Ù.
´ëºÎºÐ ȸ»çµéÀÌ 2.5%¸¦ ¸ñÇ¥·Î °³¹ßÇÕ´Ï´Ù.
Á¦°¡ ±Ã±ÝÇÑ °ÍÀº '±×·¡¼ CVMÀ¸·Î ÀÎÇØ ¹ß»ýÇÏ´Â I/O ·¹ÀÌÅϽà ¿À¹öÇìµå°¡ ¾ó¸¶³ª µÇ´Â°¡?' (+ Àú CVMÀ¸·Î Àü´ÞµÇ´Â VM I/OÀÇ ¹üÀ§°¡ ´ëü ¾î´À Á¤µµÀÎÁö) ÀÔ´Ï´Ù.
±×¸®°í ¾ð±ÞÇϽŠ°¡»óÈ ¿À¹öÇìµå 3% ¹Ì¸¸Àº CPU °¡»óȸ¦ ÀǹÌÇÏ´Â °ÍÀ¸·Î º¸ÀÔ´Ï´Ù. vSphere 7 ±âÁØ º£¾î¸ÞÅ» ´ëºñ CPU ¿À¹öÇìµå°¡ 5% ¹Ì¸¸À¸·Î ³ªÅ¸³ªÁö¸¸, Disk I/O ¿À¹öÇìµå´Â ±×°Íº¸´Ù´Â ÈξÀ ´õ ³ô½À´Ï´Ù.
+ Nutanix ÀڷḦ Á» ´õ ã¾Æº¸´Ï, ÃÖ±Ù µé¾î Blockstore¶ó´Â Userspace FilesystemÀ» ±¸ÇöÇÏ°í, I/O Path¸¦ SPDK¿Í ÅëÇÕÇÏ´Â µî ÇØ´ç ¿À¹öÇìµå¸¦ Á¦°ÅÇϱâ À§ÇÑ ³ë·ÂµéÀÌ ÀÖ¾ú³×¿ä. ´Ù¸¸ ÀÌ°ÍÀÌ General PurposeÀÎÁö, Ư¼ö ¸ñÀû¿ë ±â´ÉÀÎÁö µîÀº È®ÀÎÇغÁ¾ß ÇÒ °Í °°½À´Ï´Ù.
https://community.intel.com/t5/Blogs/Products-and-Solutions/Memory-Storage/Intel-Nutanix-Overcoming-Storage-Obstacles-with-Blockstore-and/post/1335001
´ëºÎºÐ ȸ»çµéÀÌ ÀÌ ¼öÁØÀ» ´Þ¼ºÇß½À´Ï´Ù.
»ç¿ëÀÚ°¡ ´õ ´À¸®´Ù°í ´À³¢´Â ÀÌÀ¯´Â DataStoreµî¿¡¼ Á¦°øÇÏ´Â ´Ù¾çÇÑ cacheing, replication, snap µ¥ÀÌÅÍ °ü¸®µîÀ» À§ÇÑ Ãß°¡ÀûÀÎ ±â´É»óÀÇ overhead ÀÔ´Ï´Ù.
I/O ÀÚü´Â 3% ¼öÁØÀÔ´Ï´Ù.
BlockStore´Â userlevel block device ÀÔ´Ï´Ù. File SystemÀº ¾Æ´Ï±¸¿ä.
´ë·« ¹æ½ÄÀº SPDKµîÀÇ ±â¼úÀ» »ç¿ëÇÏ¿© block device¸¦ Á¦°øÇÕ´Ï´Ù.
±×·±µ¥, nutanix¿¡¼ ¸»ÇÏ´Â 3Áß ÀúÀåÀº ºÒ°¡´É ÇÏÁö¿ä.
SPDK (nvme ±âÁØ)À¸·Î´Â DRBD µîÀÇ ±â¼úµµ »ç¿ëÇÏÁö ¸øÇÏÁÒ
¹º°¡ ¹æ¹ýÀ» ã¾Æ¾ß ÇÒ ÅÙµ¥, Á¦ÀÏ ½¬¿î ¹æ¹ýÀÌ Nutanix Storage Manager¿¡ ³Ö´Â ¹æ¹ýÀÌ°ÚÁÒ? ±×·±µ¥, ±×·¯¸é SPDK¸¦ »ç¿ëÇÒ Àǹ̰¡ ¾øÁÒ
°³ÀÎÀûÀ¸·Î´Â Ư¼ö¸ñÀû¿ëÀ̶ó »ý°¢ÇÕ´Ï´Ù.
ÀÌ·¯ÇÑ ¹æ½ÄÀ¸·Î´Â snapshot Áö¿øÀÌ ¾î·Á¿ï °Ì´Ï´Ù.
°¡»óÈ È¯°æ¿¡¼snapshot Áö¿ø ¾øÀÌ ¹é¾÷À» ÇϱⰡ ¾î·Æ½À´Ï´Ù.
±×·¸±â ¶§¹®¿¡ Ư¼ö¸ñÀû¿ëÀ̶ó »ý°¢ÇÕ´Ï´Ù
±×·±µ¥ ÀÌ°Å ¿À·¡µÈ ±â¼ú/±â´É ¾Æ´Ñ°¡¿ä??
(Àü¹®¼º ¾ø´Â °³ÀÎ »ý°¢ ÀÔ´Ï´Ù)
¿©±â¿¡ Á» ´õ ÀÚ¼¼ÇÑ ¼³¸íÀÌ Àֳ׿ä. ÀÏ´Ü Nutanix´Â ÀÌ°É FilesystemÀ̶ó°í ¼³¸íÇϱä ÇÕ´Ï´Ù. ½ÇÁ¦ ³»¿ë¹°Àº ±îºÁ¾ß ¾Ë°ÚÁö¸¸..
Nutanix BlockStore (shipped in AOS 5.18) is an AOS capability which creates an extensible filesystem and block management layer all handled in user space. This eliminates the filesystem from the devices and removes the invoking of any filesystem kernel driver. The introduction of newer storage media (e.g. NVMe), devices now come with user space libraries to handle device I/O directly (e.g. SPDK) eliminating the need to make any system calls (context switches). With the combination of BlockStore + SPDK all Stargate device interaction has moved into user space eliminating any context switching or kernel driver invocation.
´Ù¸¸ ÀÌ°ÍÀ» ±¸ÇöÇÔ¿¡ µû¸¥ ±â´ÉÀû ÆгÎƼ¿¡ ´ëÇÑ ¾ð±ÞÀº ¾ø±º¿ä. Nutanix´Â VMware¸¸Å ÀÚ¼¼ÇÑ ±â¼úÀÚ·á°¡ ¾ø´Â °Ô ÈìÀÔ´Ï´Ù.
+ AOS 5.18Àº 2020³â ¸»¿¡ ¸±¸®Áî µÇ¾úÀ¸´Ï, »ó´çÈ÷ ½Ã°£ÀÌ È帣±ä Çß½À´Ï´Ù.
¶Ç Çϳª Àç¹ÌÀÖ´Â ºÎºÐÀº, CVMÀÌ µ¥ÀÌÅÍ º¹Á¦¸¦ À§ÇØ RDMA¸¦ »ç¿ëÇϸé Ä¿³ÎÀÇ ³×Æ®¿öÅ© ½ºÅÃÀ» ¿ìȸÇÏ¸é¼ ¼º´É Çâ»óÀÌ ÀϾ٠(...)´Â ¼³¸íÀÌ ÀÖ´Ù´Â Á¡ÀÔ´Ï´Ù.
¹¹ ¸Â´Â ¸»À̱ä Çѵ¥.. ¿À·ÎÁö Context SwitchingÀ» Á¦°ÅÇϱâ À§Çؼ RDMA¸¦ µµÀÔÇÒ °í°´ÀÌ ¾ó¸¶³ª µÉ Áö´Â Àǹ®À̳׿ä.
vSAN ESA¿Í ºñ±³ÇÏ¸é ¸¹ÀÌ ¾î¼³Ç ´À³¦ÀÌ µì´Ï´Ù.
¿©·¯¸ð·Î Á¶¾ð °¨»çÇÕ´Ï´Ù. °³ÀÎÀûÀ¸·Î Latency sensitiveÇÑ ¾ÖÇø®ÄÉÀ̼ÇÀº Nutanix¿¡ ¿Ã·Á³õ±â°¡ Á» ²¨·ÁÁö³×¿ä.