Nutanix I/O ¼º´É¿¡ ´ëÇÑ Àǹ®

   Á¶È¸ 1958   Ãßõ 0    




잘 아시다시피 Nutanix에는 CVM (Controller VM)이 있고, CVM이 모든 I/O를 제어하는 구조를 가지고 있습니다.

이러한 아키텍처의 문제점은 모든 I/O가 CVM을 통과하면서 추가적인 오버헤드가 발생하고, CVM 자체가 병목 지점으로 작용할 수 있다는 것인데

특히 Context Switching 오버헤드가 심각할 것 같아 보입니다.


Nutanix의 이러한 아키텍처 구조에 따른 I/O 오버헤드가 실제로 어느 정도 수준인지 (latency increase), 그리고 어떤 I/O가 영향을 받는지 (디스크 IO만? 네트워크는? PCI-E 장치는?)

정리된 자료가 있을까요?

ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
Á¦°¡ ¾Æ´Â Çѵµ³»¿¡¼­¸¸ ¸»¾¸µå¸®¸é..

Nutanix ´Â ÃÖ¼ÒÇÑ 3 node ÀÌ»óÀ¸·Î ±¸¼ºÇØ¾ß ÇÕ´Ï´Ù.

(Ư¼ö ±¸¼º½Ã¿¡ 2 node ·Î ±¸¼ºÀÌ °¡´ÉÇϱä Çѵ¥..)

1. µ¥ÀÌ´õ ·ÎÄø®Æ¼
VMÀÌ ÇϳªÀÇ node¿¡¼­ ¿î¿µµÇµµ·Ï ÇÕ´Ï´Ù.

disk pool ÀÌ ÀüüÀÇ Çϳª·Î º¸ÀÌ°Ô µË´Ï´Ù¸¸ VMÀÇ µ¥ÀÌÅÍ ÆÄÀÏÀÌ ÇϳªÀÇ ³ëµå¿¡¼­ ¸ðµÎ ¿òÁ÷ÀÏ ¼ö ÀÖµµ·Ï CVMÀÌ Á¶Á¤À» ÇÕ´Ï´Ù. 

2. µ¥ÀÌÅÍ Æ¼¾î¸µ
hot / cold ¿µ¿ªÀ¸·Î ½ÇÁ¦ VMµ¥ÀÌÅÍ´Â CVM¿¡¼­ ¼±¾ðÇÑ ¸Þ¸ð¸® ¿µ¿ª¿¡¼­ µð½ºÅ© IO°¡  hot (ssd)¿µ¿ª¿¡ ¾²¿©Áö¸é¼­ÀϾ°í »ç¿ëºóµµ°¡ ³·Àº µ¥ÀÌÅÍ´Â cold (hdd) ¿µ¿ªÀ¸·Î ³»¸®°Ô µË´Ï´Ù.

±×·¡¼­ ´Ù¸¥ HCI¼Ö·ç™n ó·³ ÇÏÀ̺긮µå·Î µð½ºÅ©¸¦ ±¸¼ºÇصµ disk i/o¿¡ ´ëÇÑ ¼º´ÉÀúÇÏ°¡ ¾ø´Ù°í ÇÕ´Ï´Ù.

nitanix µµ ´ÜÁ¡ÀÌ Àִµ¥,

Àú CVMÀÌ ÇÙ½É VMÀÌ´Ùº¸´Ï disk io°¡ ¸¹Àº ȯ°æ¿§¼­´Â CVM¿ë·®À» Å©°Ô Àâ¾Æ¾ß ÇÕ´Ï´Ù.

3°³ ³ëµåÂ¥¸® 32GB¸¦ CVMÀ¸·Î ±¸¼ºÇϸé 32¡¿3=96±â°¡°¡ ¸ø¾²°Ô µÇÁÒ.

¶ÇÇÑ,Áö³ªÄ¡°Ô ³×Æ®¿öÅ© ¾ÈÁ¤¼º¿¡ ÀÇÁ¸ÀûÀÔ´Ï´Ù. nutanix ´Â ¸ðµç node °£ ¿¬°áÀ» ÀüºÎ ³×Æ®¿öÅ©¿¡ ÀÇÁ¸ Çϱ⠶§¹®¿¡...³×Æ®¿öÅ©°¡ ºÒ¾ÈÇϸé node °£ ¹«°á¼ºÀÌ ¹«³ÊÁö¸é¼­ ½Ã½ºÅÛ Àüü°¡ ¹«³ÊÁú ¼ö ÀÖ½À´Ï´Ù. ±×·¡¼­ ¹Ýµå½Ã ³×Æ®¿öÅ©¸¦ ÀÌÁßÈ­ ½ÃÄѼ­ ¿î¿µÇØ¾ß ÇÕ´Ï´Ù.

±âº»ÀûÀ¸·Î 10GbEÀÌ»ó±ÞÀÇ ³×Æ®¿öÅ©¸¦ ÀÌÁßÈ­ ±¸¼ºÇؼ­ ¿î¿µÇØ¾ß ÇÕ´Ï´Ù.

Àüü ¸Þ¸ð¸®°¡ 128 À̶ó¸é CVMÀÌ 32 ·Î ±¸¼ºÇÑ´Ù°í ÃÆÀ»¶§ °è»ê»óÀ¸·Î´Â 96¿¡ ÀÚ¿øÀÌ ³²½À´Ï´Ù¸¸ ½ÇÁ¦·Î ÇϳªÀÇ ³ëµå°¡ ¹«³ÊÁ³À»¶§ ´Ù¸¥ °÷À¸·Î ºÐ»êÇÏ¿© ÀÚ¿øÀ» ¹èÄ¡ÇØ ³Ñ°Ü¾ß Çϱ⠶§¹®¿¡ 33%ÀÇ ¸Þ¸ð¸® ÀÚ¿ø µð½ºÅ©ÀÚ¿øÀ» ¾²Áö ¸øÇÏ´Â ¹®Á¦µµ ÀÖ½À´Ï´Ù. (¾µ ¼ö´Â ÀÖÁö¸¸ ·¹Áú¸®¾ð½º¿¡ °æ°í°¡ ¶ß°Ô µË´Ï´Ù.) ¸¸¾à ÇϳªÀÇ ³ëµå°¡ Á׿¡ µÇ¸é ³ª¸ÓÁö µÎ°÷¿¡ VMÀ» ¸ð¼ÇÇؼ­ ³Ñ±â·Á°í Çصµ °ø°£ÀÌ ¾øÀ¸´Ï ÀÚ¿øÀ» ÇÒ´ç¹ÞÁö ¸øÇÏ´Â VMÀº ºÎÆÃÀÌ µÇÁö ¾Ê°ÚÁÒ.
¿À·¡Àü ±â¾ï¿¡ Supermicro 2U 4node¿¡ ¸¶½ºÅ·Çؼ­ Á¦Ç°ÀÌ ³ª¿Ô´ø°Í °°Àºµ¥, Áö³­ ¸î³â°£ ¸¹Àº ¹ßÀüÀÌ ÀÖÁö ¾Ê¾ÒÀ»±î ½Í½À´Ï´Ù.
4node¸¦ µå¹Î ÀÌÀ¯°¡ Ŭ·¯½ºÅÍ ±âº» ¼º´É ±¸¼º ³ëµå ¶§¹®¿¡ ±×·¨´ø°Í °°³×¿ä.
°¡²û¾¿ ¸ÞÀϸµµµ ¿À°íÇÏ´øµ¥ ¿äÁòÀº ¶äÇϱäÇϳ׿ä.

±×¶§ Àá½Ã ºÐ¼®ÇßÀ»¶§, °³³äÀûÀ¸·Î ºÐ»êŬ·¯½ºÅÍÆÄÀϽýºÅÛ ±â¼úÀ§¿¡ °¡»óÈ­±â´ÉÀ» ±¸ÇöÇÑ°³³ä ÇüÅ·Πº¸¿©¼­ ³×Æ®¿öÅ© º´¸ñÀÌ ¸¹À»°Í °°´Ù´Â »ý°¢ÀÌ µé´õ±º¿ä.
º°µµÀÇ ºÐ»êŬ·¯½ºÅÍ ¸ÞŸ¼­¹ö±¸Á¶´Â ¾Æ´Ï¿´´ø°Í °°°í, º°µµÀÇ ÁÖµ¿ÀÚ°¡ Àִٱ⠺¸´Ù´Â, ÄÁ¼¾¼­½º ÇÕÀÇ¾Ë°í¸®Áò ÇüÅ·Π¸®´õ°¡ ¹Ù²ð¼ö ÀÖ´Â
±¸Á¶·Î º¸¿©Áö±â´Â ÇÑ°Í °°½À´Ï´Ù. ³×Æ®¿öÅ© Ŭ·¯½ºÅÍ ±â¹ÝÀÌ¸é ¿¹ÃøÇϽðÚÁö¸¸, º´¸ñÀº ³×Æ®¿öÅ©ÂÊÀÌ  Á¦¹ý¹ß»ýÇÏÁö ¾ÊÀ»±î ½Í½À´Ï´Ù.
Ŭ·¯½ºÅÍ °ü¸® ¹× ±âŸµîµî ±â´ÉÀÇ CVMÀÌ °¡»ó¸Ó½Å ÇüÅ·Πµµ´Â°Í °°³×¿ä. CPU/MEMMORY/NETWORK Æ©´×Æ÷ÀÎÆ®¸¦ Àß ÀâÀ¸¼Å¾ß ÇÒ°Í °°½À´Ï´Ù.
¿¹Àü¿¡ ÁöÀÎºÐµé º¸¸é ºòµ¥ÀÌÅÍ ³ëµå °¡»óÈ­·Î ¸¹ÀÌ ¿Ã·Á¼­ ½ºÆ®·¹½º Å×½ºÆ® Çß´ø°Í °°½À´Ï´Ù Splunk, Hadoop ...

±¸±Û¸µÀ¸·Î ãÀº ¸î°¡Áö ÀÚ·á Âü°í°¡ µÇ½ÇÁö ¸ô¶ó¼­ ¸µÅ©³²°Üµå¸³´Ï´Ù.
https://www.n0derunner.com/category/nutanix/
https://www.n0derunner.com/nutanix-performance-for-database-workloads/
https://vcdx133.files.wordpress.com/2019/10/the-nutanix-design-guide-first-edition.pdf
¼úÀÌ 02-22
ÇöÀç ´ºÅ¸´Ð½º ¾²´Âµ¥ Èì º¨¿þ¾î VSAN »ý°¢ÇÏ¸é µË´Ï´Ù. 3³ëµå°¡ ·¹ÀÌµå ±¸¼ºÃ³·³ µ¥ÀÌÅ͸¦ ½ÌÅ©±¸Á¶¸¦ ¸Î¾î¾ß ¾î´À°Å Çϳª »¸¾îµµ µ¥ÀÌÅÍ ±×´ë·Î´Ï...
±×·±µ¥ ½ÌÅ©¹æ¹ýÀº 10Gµç 40Gµç ¿¬°á±¸Á¶°¡ µÇ¾î¾ß Çϴµ¥ ÀϹÝÀûÀ¸·Î 10G¸¦ ¾²°í ÀÖ´õ¶ó±¸¿ä. ¿¹»óµ¥·Î µð½ºÅ© ¼Óµµ´Â FC³ª ´ÙÀÌ·ºÆ® 10G/40G ¿¬°áÇؼ­ ¾µ¶§º¸´Ù ¸¹ÀÌ Àã°°½À´Ï´Ù. ±×·¸´Ù°í ¸ø¾µÁ¤µµ´Â ¾Æ´ÏÁö¸¸ °í¼Ó IO¸¦ ¿ä±¸Çϴµ¥´Â ¾ÆÅ°ÅØÃÄ»ó ÇÑ°è°¡ ÀÖ½À´Ï´Ù.
±×¸®°í º¨¿þ¾î³ª Hyper-V´Â VM¿¡ ´ëÇؼ­ ¸¹ÀÌ ÀÚÀ¯·Î¿îµ¥ ´ºÅ¸´Ð½º´Â Ç×»ó ȣȯÀÌ µÇ³ª ¾ÈµÇ³ª´Â üũÇÏ°í ½ÃÀÛÇؾߵ˴ϴÙ. ÀÌ°Å ¹«½ÃÇÏ°í ÇÒ·Á´Ù ´Ù¸¥°Ç ´Ù µÇ´Âµ¥ ¿Ö ÀÌ°Ç ¾ÈµÇÁö?Çϸ鼭 ¸àºØ¿Ã¶§°¡ ¸¹½À´Ï´Ù.
¿©·¯°¡Áö·Î ¿ì¸®°¡ »ý°¢Çß´ø VM ÀÌ·± ±Ø¾ÇÀÇ È£È¯¼ºÀ» ¿·¿¡¼­ ±¸°æÇÑÈÄ·Î °ü½É ²÷¾î¹ö·È½À´Ï´Ù.(À§¿¡¼­ Áö½ÃÇÏ´Ï±î ¾²´Â°ÅÁö À̵ûÀ§°É)

±×·¡µµ Ŭ¶ó¿ìµå ½Ã´ë¿¡ ¸Â°Ô ÀÎÅÍÆäÀ̽º´Â ±ò²ûÇÏ°í ¸ÚÀÖ±ä ÇÏ´õ¶ó±¸¿ä.(¿Ü°ü¿¡¸¸ ¸ô»§ÇÑ°Åó·³ º¸ÀÓ)
epowergate 02-22
½ºÅ丮Áö °¡»óÈ­ ·¹À̾ ¸¸µé°í ±× À§¿¡ ¸ðµç VMÀ» ¿Ã·Á¼­ ÅëÀÏµÈ ±¸Á¶¸¦ °¡Á®°¥²¨³Ä?
¾Æ´Ï¸é direct io ¶Ç´Â pass-throught device¸¦ Áö¿øÇؼ­ Á» ´õ ÁÁÀº ¼º´ÉÀ» Á¦°øÇÒ²¨³Ä?
¸¹Àº °¡»óÈ­ Á¦Ç°/ȸ»çµéÀÌ ½ºÅ丮Áö °¡»óÈ­¿¡ ±â¹ÝÇÑ ±â¼ú-Á¦Ç°-±â´ÉÀ» Á¦°øÇϱ⠶§¹®¿¡ °³ÀÎÀûÀ¸·Î´Â 1À» ¼±È£ÇÕ´Ï´Ù.
´çÀå 2 ¹æ½ÄÀº ¹é¾÷-motion µîÀÇ ±â´ÉÀ» Á¦°øÇÏ·Á¸é 1) ±¸Çö ³­À̵µ°¡ ³ô¾ÆÁö°í ¹× 2) ´Ù¾çÇÑ ±â¼úÀ» ´Ù Æ÷¿ëÇϱ⵵ ¾î·Æ½À´Ï´Ù.

 Áú¹®¿¡ ´äÀ» µå¸®¸é (2021³â ±âÁØ) °¡»óÈ­¸¦ Çؼ­ ¹ß»ýÇÏ´Â overhead´Â 3% ¹Ì¸¸À» °¡ÀÌµå ¶óÀÎÀ¸·Î ÇÕ´Ï´Ù.
´ëºÎºÐ ȸ»çµéÀÌ 2.5%¸¦ ¸ñÇ¥·Î °³¹ßÇÕ´Ï´Ù.
     
VMwareÀÇ °æ¿ì, vSANÀº Ä¿³Î ¸ðµâ ÇüÅ·Π±¸ÇöµÇ¾î ÀÖÀ¸¸ç, vSAN Layer¸¦ Á¦¿ÜÇÏ´õ¶óµµ VMÀÇ I/O Path°¡ hostÀÇ Ä¿³Î°ú ¿¬°áµÇ±â ¶§¹®¿¡ NutanixÀÇ ¾ÆÅ°ÅØ󺸴٠¼º´É ¸é¿¡¼­ À¯¸®ÇÒ °ÍÀ¸·Î ÆǴܵ˴ϴÙ.
Á¦°¡ ±Ã±ÝÇÑ °ÍÀº '±×·¡¼­ CVMÀ¸·Î ÀÎÇØ ¹ß»ýÇÏ´Â I/O ·¹ÀÌÅϽà ¿À¹öÇìµå°¡ ¾ó¸¶³ª µÇ´Â°¡?' (+ Àú CVMÀ¸·Î Àü´ÞµÇ´Â VM I/OÀÇ ¹üÀ§°¡ ´ëü ¾î´À Á¤µµÀÎÁö) ÀÔ´Ï´Ù.

±×¸®°í ¾ð±ÞÇϽŠ°¡»óÈ­ ¿À¹öÇìµå 3% ¹Ì¸¸Àº CPU °¡»óÈ­¸¦ ÀǹÌÇÏ´Â °ÍÀ¸·Î º¸ÀÔ´Ï´Ù. vSphere 7 ±âÁØ º£¾î¸ÞÅ» ´ëºñ CPU ¿À¹öÇìµå°¡ 5% ¹Ì¸¸À¸·Î ³ªÅ¸³ªÁö¸¸, Disk I/O ¿À¹öÇìµå´Â ±×°Íº¸´Ù´Â ÈξÀ ´õ ³ô½À´Ï´Ù.

+ Nutanix ÀڷḦ Á» ´õ ã¾Æº¸´Ï, ÃÖ±Ù µé¾î Blockstore¶ó´Â Userspace FilesystemÀ» ±¸ÇöÇÏ°í, I/O Path¸¦ SPDK¿Í ÅëÇÕÇÏ´Â µî ÇØ´ç ¿À¹öÇìµå¸¦ Á¦°ÅÇϱâ À§ÇÑ ³ë·ÂµéÀÌ ÀÖ¾ú³×¿ä. ´Ù¸¸ ÀÌ°ÍÀÌ General PurposeÀÎÁö, Ư¼ö ¸ñÀû¿ë ±â´ÉÀÎÁö µîÀº È®ÀÎÇغÁ¾ß ÇÒ °Í °°½À´Ï´Ù.

https://community.intel.com/t5/Blogs/Products-and-Solutions/Memory-Storage/Intel-Nutanix-Overcoming-Storage-Obstacles-with-Blockstore-and/post/1335001
          
epowergate 02-22
3%´Â Storage Layer °¡»óÈ­ÀÇ overhead ¸ñÇ¥ÀÔ´Ï´Ù.
´ëºÎºÐ ȸ»çµéÀÌ ÀÌ ¼öÁØÀ» ´Þ¼ºÇß½À´Ï´Ù.
»ç¿ëÀÚ°¡ ´õ ´À¸®´Ù°í ´À³¢´Â ÀÌÀ¯´Â DataStoreµî¿¡¼­ Á¦°øÇÏ´Â ´Ù¾çÇÑ cacheing, replication, snap µ¥ÀÌÅÍ °ü¸®µîÀ» À§ÇÑ Ãß°¡ÀûÀÎ ±â´É»óÀÇ overhead ÀÔ´Ï´Ù.
I/O ÀÚü´Â 3% ¼öÁØÀÔ´Ï´Ù.

BlockStore´Â userlevel block device ÀÔ´Ï´Ù.  File SystemÀº ¾Æ´Ï±¸¿ä.
´ë·« ¹æ½ÄÀº SPDKµîÀÇ ±â¼úÀ» »ç¿ëÇÏ¿© block device¸¦ Á¦°øÇÕ´Ï´Ù.
±×·±µ¥, nutanix¿¡¼­ ¸»ÇÏ´Â 3Áß ÀúÀåÀº ºÒ°¡´É ÇÏÁö¿ä. 
SPDK (nvme ±âÁØ)À¸·Î´Â DRBD µîÀÇ ±â¼úµµ »ç¿ëÇÏÁö ¸øÇÏÁÒ
¹º°¡ ¹æ¹ýÀ» ã¾Æ¾ß ÇÒ ÅÙµ¥, Á¦ÀÏ ½¬¿î ¹æ¹ýÀÌ Nutanix Storage Manager¿¡ ³Ö´Â ¹æ¹ýÀÌ°ÚÁÒ?  ±×·±µ¥, ±×·¯¸é SPDK¸¦ »ç¿ëÇÒ Àǹ̰¡ ¾øÁÒ

°³ÀÎÀûÀ¸·Î´Â Ư¼ö¸ñÀû¿ëÀ̶ó »ý°¢ÇÕ´Ï´Ù.
ÀÌ·¯ÇÑ ¹æ½ÄÀ¸·Î´Â snapshot Áö¿øÀÌ ¾î·Á¿ï °Ì´Ï´Ù.
°¡»óÈ­ ȯ°æ¿¡¼­snapshot Áö¿ø ¾øÀÌ ¹é¾÷À» ÇϱⰡ ¾î·Æ½À´Ï´Ù.
±×·¸±â ¶§¹®¿¡ Ư¼ö¸ñÀû¿ëÀ̶ó »ý°¢ÇÕ´Ï´Ù
±×·±µ¥ ÀÌ°Å ¿À·¡µÈ ±â¼ú/±â´É ¾Æ´Ñ°¡¿ä??
(Àü¹®¼º ¾ø´Â °³ÀÎ »ý°¢ ÀÔ´Ï´Ù)
               
https://www.nutanixbible.com/4c-book-of-aos-storage.html
¿©±â¿¡ Á» ´õ ÀÚ¼¼ÇÑ ¼³¸íÀÌ Àֳ׿ä. ÀÏ´Ü Nutanix´Â ÀÌ°É FilesystemÀ̶ó°í ¼³¸íÇϱä ÇÕ´Ï´Ù. ½ÇÁ¦ ³»¿ë¹°Àº ±îºÁ¾ß ¾Ë°ÚÁö¸¸..

Nutanix BlockStore (shipped in AOS 5.18) is an AOS capability which creates an extensible filesystem and block management layer all handled in user space. This eliminates the filesystem from the devices and removes the invoking of any filesystem kernel driver. The introduction of newer storage media (e.g. NVMe), devices now come with user space libraries to handle device I/O directly (e.g. SPDK) eliminating the need to make any system calls (context switches). With the combination of BlockStore + SPDK all Stargate device interaction has moved into user space eliminating any context switching or kernel driver invocation.

´Ù¸¸ ÀÌ°ÍÀ» ±¸ÇöÇÔ¿¡ µû¸¥ ±â´ÉÀû ÆгÎƼ¿¡ ´ëÇÑ ¾ð±ÞÀº ¾ø±º¿ä. Nutanix´Â VMware¸¸Å­ ÀÚ¼¼ÇÑ ±â¼úÀÚ·á°¡ ¾ø´Â °Ô ÈìÀÔ´Ï´Ù.

+ AOS 5.18Àº 2020³â ¸»¿¡ ¸±¸®Áî µÇ¾úÀ¸´Ï, »ó´çÈ÷ ½Ã°£ÀÌ È帣±ä Çß½À´Ï´Ù.

¶Ç Çϳª Àç¹ÌÀÖ´Â ºÎºÐÀº, CVMÀÌ µ¥ÀÌÅÍ º¹Á¦¸¦ À§ÇØ RDMA¸¦ »ç¿ëÇϸé Ä¿³ÎÀÇ ³×Æ®¿öÅ© ½ºÅÃÀ» ¿ìȸÇϸ鼭 ¼º´É Çâ»óÀÌ ÀϾ´Ù (...)´Â ¼³¸íÀÌ ÀÖ´Ù´Â Á¡ÀÔ´Ï´Ù.
¹¹ ¸Â´Â ¸»À̱ä Çѵ¥.. ¿À·ÎÁö Context SwitchingÀ» Á¦°ÅÇϱâ À§Çؼ­ RDMA¸¦ µµÀÔÇÒ °í°´ÀÌ ¾ó¸¶³ª µÉ Áö´Â Àǹ®À̳׿ä.

vSAN ESA¿Í ºñ±³ÇÏ¸é ¸¹ÀÌ ¾î¼³Ç ´À³¦ÀÌ µì´Ï´Ù.

¿©·¯¸ð·Î Á¶¾ð °¨»çÇÕ´Ï´Ù. °³ÀÎÀûÀ¸·Î Latency sensitiveÇÑ ¾ÖÇø®ÄÉÀ̼ÇÀº Nutanix¿¡ ¿Ã·Á³õ±â°¡ Á» ²¨·ÁÁö³×¿ä.


QnA
Á¦¸ñPage 46/5677
2015-12   1474061   ¹é¸Þ°¡
2014-05   4937093   Á¤ÀºÁØ1
07-23   1243   ±Ã±Ý±Ã±Ý
07-22   1172   CW33300
07-22   1122   Á¤ÀºÁØ1
07-22   1184   ¸Ó½Ã
07-22   1386   ¶Ñ¶Ñ±è´ë¿ø
07-21   1432   Tuber
07-21   1407   ´ºÁø½º
07-21   1020   Sakura24
07-21   1698   ¼ÒÀÌÄ¡·Î
07-21   1299   2CPUÃÖÁÖÈñ
07-21   1442   Uinx
07-21   1222   ¯¯¸Ç
07-21   1356   Ȧ¸¯0o0
07-20   1223   ¹«½î»Ôó·³
07-20   1223   Q8300
07-20   1356   dnadna
07-20   1218   ¾ðÅÍÃĺí
07-20   1430   ¹Ú¹®Çü
07-20   1417   °ËÀºÄá
07-20   1337   ¾Æ¸¶µ¥¿ì¾²