¹«½ÄÇÑ 40G »ç¿ë±â

   Á¶È¸ 7087   Ãßõ 0    

이미 제 여러글에서 보신바와 같이 슈마서버 3대를 이용해서 유사 HCI 를 구성했습니다. 항상 불만은 40G 스위치의 부재로 인한 속도 제한..

오죽하면 x9drx 같은 슈마서버보드에 카드를 박아서 스위치를 만들어볼까도 생각했고 8포트 인피니밴드 스위치도 한개 서서 오는길입니다.

그런데 궁금증이 생겨서 함 해봤습니다. 근데.. 이게 됩니다.


슈마 2U 서버 3대를 사용중인데.. 문제는 이놈들이 슬롯이 갯수가 얼마 안됩니다. 양쪽으로 총 5개 장착이 최대 입니다.

그래서 일단 8포트지원 sas hba 두개를 달고, 원래는 10지 듀얼포트 3개를 달아서 썼습니다. 근데.. 이게 결국은 속도제한이 여러가지 방식으로 나타나는 데다가 케이블도 복잡하더군요..

그래서 10지 랜카드들을 다 걷어내고 40지 듀얼포트 2개씩을 박았습니다. 

그중에서도 중요한건 ceph 용으로 사용한 40지인데.. 원래는 40지 스위치로 직결하면 됩니다. 그래서 이걸 인피니밴드 모드로 해봐야지 하고 8포트 하나 사서 오는중이구요..

이걸.. 음?! 될려나?! 해보자!! 해서 해봤습니다




40지 두포트가 있는 스위치 한개로는 방법이 없었습니다. 그래서 그냥 지들끼리 저렇게 링방식으로 연결했습니다. 그랬더니 알아서 RSTP 로 루프 막더군요.. 재수! 그리고 T7910 웍스에도 40지 듀얼포트를 2개 박아서 지들끼르 스위치로 묶었습니다. 그리고는 연결했죠..슈마서버의 서비스용 포트중 한개씩을 연결하고 나머지 한포트를 스위치로 연결했습니다. 위에 파란색 네모는 다 40지 포트 고 연결은 전부 AOC 로 한겁니다.

결과!!!!!

일단 T7910 입장에선 속도 테스트 해보니 완전 대박 으로 40지가 풀로 나옵니다. 그렇고 스위치에 연결된 10지 포트 아래 컴들에서도 동시에 여러대가 10지가 나옵니다. 솔직히 40지는 풀로 안나오고 35지 정도가 최대 더군요..

암튼.. Proxmox 에 가상 네트워크에서 RSTP 가 잘 작동한다는 사실만은 알게됐네요.

지난번 테스트에 비해  ssd 속도를 좀더 수월하게 뽑아주는 느낌 입니다.



NEWZ 2020-01
¿ª½Ã ½ºÅ丮Áö´Â µ·.. µ¢¾î¸®³×¿ä
³²Àº 40G¸¦ ¸µÀ¸·Î Çϳª ´õ ¸¸µé°í
¸µ³¢¸® ¹­°Å³ª
¶ó¿ìÆÃÀ¸·Î
T7910¿¡ ¿¬°áÀ» 120g·Î ¸¸µé¼ö ÀÖÁö ¾ÊÀ»±î¿ä?
     
120Áö´Â ¾Æ´Ï°í À̷лó ÃÑ 3 ³ëµå 40Áö 3Æ÷Æ®¾¿À» 12Æ÷Æ® ÀÌ»ó 40Áö ½ºÀ§Ä¡·Î ¹­´Â´Ù¸é 120Áö ¼Óµµ´Â ³ª¿ÃÅ×Áö¸¸.. °á±¹ ±×°Ç ³»ºÎ¼Óµµ°í..
½ÇÁ¦·Î ÃÖ´ë ½º·çDzÀº ÆÄÀÏÀÌ Á¤¸» Àß ºÐ»êµÈ °æ¿ì¿¡ ÃÖ´ë 60Áö±îÁö °¡´ÉÇÏ°Ú°í ¶óÀÌÆÃÀº 3·¹Çø®Ä« ±âÁØÀ̸é ÃÖ´ë°¡ 20Áö°¡ µÉÅ×ÁÒ..
°è»ê¹æ½ÄÀº
max node speed / (# of nodes - 1) = throughput  ÀÌ°í ¿©±â¼­ ³ëµå½ºÇǵå´Â ceph internal node ÀÏÅ×´Ï
´ëÀÔÇϸé (40*3)/(3-1)=60G °¡ Ãִ뽺·çDzÀÌ µÉ°Ì´Ï´Ù. ÀÌ¿ª½Ãµµ ¿ÜºÎ ¿¬°áÀÌ °¢°¢ 40Áö·Î ÇÑÆ÷Æ®¾¿ ¿¬°áµÈ ÃÑ ¾î±×¸®°ÔÀÌ¼Ç ½ºÇǵå°í,
¸¸ÀÏ ÀÌ°Ô 10Áö µà¾óÄ«µå ±âÁØÀ¸·Î ÇÏ¸é ¾Æ¹«·¡µµ Áö¿¬À̳ª ´ë¿ªÆø Á¦ÇÑ µî ¿©·¯°¡Áö ¹®Á¦·Î ÃÖ´ë ¼ÓµµÀÎ 60Áö±îÁø ´Ù ¸ø»Ì¾Æ³¾°Å¶ó »ý°¢ÇÕ´Ï´Ù.
maronet 2020-01
¾îÁ¦ 40g 4Æ÷Æ® ´Þ¸° ÀÌ´õ³Ý ½ºÀ§Ä¡ ÀåÅͼ­ »ç¼­ Åùè·Î ¿À´Â ÁßÀ̰ŵç¿ä.
40g¸¦ »ç·Á´ø°Ç ¾Æ´Ï°í 10g Áß¿¡ ½Ñ°Å ã´Ùº¸´Ï... 10g 48+40g 4Æ÷Ʈ¥¸®°¡ ÀÖ´õ¶ó°í¿ä.
Àü ±×³É °ö°Ô 10g·Î ¸¸Á·ÇÏ°í »ì·Á°í¿ä ¤¾
»ç½Ç Áö±Ý 10g nicµµ ¾ø¾î¼­ ¿ëµ· ¸ð¾Æ »ç¾ßÇÕ´Ï´Ù ¤Ð.¤Ð
     
»ç½Ç À©µµ ¾µ°Å ¾Æ´Ï¸é ÿ½Ã¿À s320e 10Áö µà¾óÀº Á¤¸»..ȯ»óÀûÀÎ °¡°ÝÀÔ´Ï´Ù.¼öÀÔÇصµ °³´ç 3¸¸¿øÀ» ¾È³ÑÀ»°Å°í ÀåÅÍ¿¡¼­µµ 5¸¸¿ø ÀÌÇÏ..
dacÄÉÀÌºíµµ Àú·ÅÇÑ ÆíÀ̱¸¿ä..
          
maronet 2020-01
¿ÀÈ« ±×Á¤µµ °¡°ÝÀÇ ·£Ä«µå°¡ ÀÖ¾î¿ä? esxi µå¶óÀ̹ö ÀÖ´ÂÁö Çѹø °Ë»öÇغÁ¾ß°Ú³»¿ä. Á¤º¸ °¨»çÇÕ´Ï´Ù ^^
µ¥ºñ¾È À§¿¡ µ¹¾Æ°¡´Â promox ȯ°æÀÌ ºÎ·´³»¿ä. Àúµµ Áö±Ý ÇÏ´Â ÀÏ ¾ÈÇßÀ¸¸é promox Á» ¿­½ÉÈ÷ °®°í ³î¾ÒÀ»Áöµµ ¤¾
esxi´Â ±¸Çü ÀÎÇǴϹêµå Ä«µå Áö¿øÀÌ ¶Ë¸ÁÀ̶ó ¤Ð.¤Ð ±×³É 10G¸¸ ÇÏ°í ¸»·Á°í¿ä.
               
Ç°¸íÀÌ Æ²·È³×¿ä cehlio n320e-sr ·Î °Ë»öÇѹø Çغ¸½ÃÁÒ À̺£ÀÌ¿¡ Áö±ÝÀº Á» ¿Ã¶úÁö¸¸ lp ¹öÁ¯À¸·Î ÇѶ§ 20´Þ·¯ ´ë¿´½À´Ï´Ù.
À½ ±Ùµ¥ esxi ´Â Àß ¾ÈÁö¿øÇÒ°Å °°³×¿ä. ÀÏ¹Ý ¸®´ª½º¿¡¼± ¾ÆÁÖ Àߵ˴ϴÙ.
                    
maronet 2020-01
³×, ´ëÃæ °Ë»öÇغ¸´Ï ESXi¿¡¼­´Â ´õ ÀÌ»ó Áö¿ø¾ÈÇÏ´Â °Í °°¾Æ¿ä.
»ó±Þ¸ðµ¨µµ µÇ³» ¾ÈµÇ³»ÇÏ°í ÀÖ±¸¿ä ¤Ð.¤Ð
          
maronet 2020-01
¿õ... 40g Çϼ̴ÙÇؼ­ ´ñ±Û ´Þ·¯ µé¾î¿Ô´Ù°¡~
°á±¹Àº ebay°¡¼­ OCE11102 5Àå + DAC ÄÉÀ̺í 10°³ ÁÖ¹®Çß³»¿ä.
´ñ±Û·Î ½ÃÀÛÇؼ­ "±â½ÂÀüÁö¸§"À¸·Î ³¡³ª´Ù´Ï ¤Ð.¤Ð
               
Àü 40Áö Ä«µå 100°³ ¶û 40Áö ½ºÀ§Ä¡ 2°³ 100ÁöÄ«µå 2°³ aoc ÄÉÀ̺í 30°³ µîµî...
                    
maronet 2020-01
À¸Çä 100°³... AOC ÄÉÀÌºí °¡°Ýµµ ¸¸¸¸Âú´õ¶ó°í¿ä.
maronet 2020-01
±Ùµð proxmox¿¡¼­ 40g·Î Àú·± ¸µ ³×Æ®¿öÅ© ±¸¼º °¡´ÉÇÏ´Ù´Â°Ô Âü ½Å±âÇϳ»¿ä.
proxmox¿¡ 40g Ä«µå ¾î¶²°Å ¾²¼Ì¾î¿ä?
     
HP 649281-B21 0/40GB 2P 544QSFP ¶ó´Â ³à¼® ÀÔ´Ï´Ù.
»ç½ÇÀº ¸á¶ó³ì½º connectx3pro ÁÒ
          
maronet 2020-01
¾Æ~ FDR Áö¿øµÇ´Â ¸ðµ¨À̳»¿ä. FDR ½ºÀ§Ä¡µµ 8Æ÷Ʈ¥¸®°¡ ÀÖ³ª¿ä?
Àü ConnectX-3 VPI ¸ðµ¨ 2Àå »ç¿Ô´Âµð~
ESXi 6.7¿¡¼­ °ø½ÄÁö¿ø ¾ÈÇÏ´Â ¸ðµ¨À̶ó ±×·±°¡ IB ¸ðµå·Î ÀνÄÀÌ Àß ¾ÈµÇ³»¿ä.
±× À­±ÞÀ¸·Î °¡ÀÚ´Ï Ä«µå °¡°ÝÀÌ ³Ê¹« ³ô°í.
±×·¡¼­ ±×³É ÀÌ´õ³Ý 10G °¡´Â°Å·Î ¤Ð.¤Ð
               
±è»óÇõ2 2020-01
ConnectX-3 VPI ¸ðµ¨¿¡¼­ IPOIB ¸ðµå·ÎÇؼ­ µå¶óÀ̹ö MLNX-OFED-ESX-1.8.2.5-10EM ¹öÀüÀ¸·Î ¼³Ä¡ÇØ¾ß ÀνÄÇÏ´õ¶ó±¸¿ä..

±Ùµ¥ 6.7¿¡¼­´Â ¹º°¡ ºÒ¾ÈÁ¤Çؼ­ 6.5±îÁö´Â ±¦ÂúÀº°Å°°³×¿ä
                    
maronet 2020-01
Á¦°¡ µü ±×·¸°Ô Çߵ常~ vSANÀÌ ÀÌ»óÇØÁö´õ¶ó°í¿ä.
¸¶Áö¸·À¸·Î ÀÌ´õ³Ý 10G ¸ðµå·Î Á¦´ë·Î µ¿ÀÛÇÏ´ÂÁö È®ÀÎÇÏ°í »Ì¾Æ¹ö¸±¶ó°í¿ä.
¼ø°£ ¶ó¿ìÅÍ »õ·Î ³ª¿ÂÁÙ ¾Ë°í ±ô³îÇ߳׿䤾¤¾
±×·±µ¥ crs326-24s 2q rm ÀÌ°Ç ±¹³»Á¤¹ß Çß³ª¿ä?
     
¿¹ Á¤¹ßÇß°í, Àç°í¶§¹®¿¡ ¿Â¶óÀÎ ÆǸŴ ¾ÆÁ÷ ÁغñÁßÀ̱¸¿ä
epowergate 2020-01
Mellanox Card¿¡´Â Ethernet Host ChainingÀ̶ó´Â ±â´ÉÀÌ ÀÖ½À´Ï´Ù.
Á¤È®ÇÏ°Ô ´Ô²²¼­ ÇÏ°í°è½Å ±â´ÉÀ» Á¦°øÇÏ´Â ±â¼úÀÔ´Ï´Ù.
Mellanox¿¡¼­¸¸ Áö¿øÇÏ´Â ±â´ÉÀÔ´Ï´Ù.

Ȥ½Ã T7910À» TOR Switch ó·³ »ç¿ëÇؼ­ Ceph ¼­¹ö 3´ë°£¿¡ Åë½ÅÀº ¾ÈÇغ¸¼Ì³ª¿ä?  ±×·¯¸é Ceph ¼­¹ö°£ÀÇ NICÀ» »¬¼öµµ ÀÖÀ» °Í °°Àºµ¥¿ä
     
Çѹø ½ÃµµÇغ¸°Ù½À´Ï´Ù.


Á¦¸ñPage 16/102
2022-08   4600   etet99
2022-08   3691   f100mania
2022-08   2682   ±¸±¸ÄÜÁ¶¾Æ¿ë
2022-08   3800   Elusive4245
2022-08   3706   Á¦Ol
2022-08   3843   YJMODx¿µÀ硦
2022-08   4440   º£´ÏÅ×Áî
2022-08   4873   º°À̵Ǿî
2022-08   4839   Elusive4245
2022-08   5126   ¿ì¾Æ¾Ó
2022-08   4761   ¶ó°Ô¸£
2022-08   4562   Ŭ·¡½Ä
2022-08   3844   ¾Ë·ÁÁÖ¼¼À¯
2022-08   3826   À¯Æ©ºê¶óÀ̺ê
2022-08   3911   Commander
2022-08   6376   °í·¡1006
2022-08   6362   Commander
2022-08   8027   ³×¸°ÀÌ
2022-08   9194   °õ»ïÃÌ
2022-08   9188   Commander