이미 제 여러글에서 보신바와 같이 슈마서버 3대를 이용해서 유사 HCI 를 구성했습니다. 항상 불만은 40G 스위치의 부재로 인한 속도 제한..
오죽하면 x9drx 같은 슈마서버보드에 카드를 박아서 스위치를 만들어볼까도 생각했고 8포트 인피니밴드 스위치도 한개 서서 오는길입니다.
그런데 궁금증이 생겨서 함 해봤습니다. 근데.. 이게 됩니다.
슈마 2U 서버 3대를 사용중인데.. 문제는 이놈들이 슬롯이 갯수가 얼마 안됩니다. 양쪽으로 총 5개 장착이 최대 입니다.
그래서 일단 8포트지원 sas hba 두개를 달고, 원래는 10지 듀얼포트 3개를 달아서 썼습니다. 근데.. 이게 결국은 속도제한이 여러가지 방식으로 나타나는 데다가 케이블도 복잡하더군요..
그래서 10지 랜카드들을 다 걷어내고 40지 듀얼포트 2개씩을 박았습니다.
그중에서도 중요한건 ceph 용으로 사용한 40지인데.. 원래는 40지 스위치로 직결하면 됩니다. 그래서 이걸 인피니밴드 모드로 해봐야지 하고 8포트 하나 사서 오는중이구요..
이걸.. 음?! 될려나?! 해보자!! 해서 해봤습니다
40지 두포트가 있는 스위치 한개로는 방법이 없었습니다. 그래서 그냥 지들끼리 저렇게 링방식으로 연결했습니다. 그랬더니 알아서 RSTP 로 루프 막더군요.. 재수! 그리고 T7910 웍스에도 40지 듀얼포트를 2개 박아서 지들끼르 스위치로 묶었습니다. 그리고는 연결했죠..슈마서버의 서비스용 포트중 한개씩을 연결하고 나머지 한포트를 스위치로 연결했습니다. 위에 파란색 네모는 다 40지 포트 고 연결은 전부 AOC 로 한겁니다.
결과!!!!!
일단 T7910 입장에선 속도 테스트 해보니 완전 대박 으로 40지가 풀로 나옵니다. 그렇고 스위치에 연결된 10지 포트 아래 컴들에서도 동시에 여러대가 10지가 나옵니다. 솔직히 40지는 풀로 안나오고 35지 정도가 최대 더군요..
암튼.. Proxmox 에 가상 네트워크에서 RSTP 가 잘 작동한다는 사실만은 알게됐네요.
지난번 테스트에 비해 ssd 속도를 좀더 수월하게 뽑아주는 느낌 입니다.
³²Àº 40G¸¦ ¸µÀ¸·Î Çϳª ´õ ¸¸µé°í
¸µ³¢¸® ¹°Å³ª
¶ó¿ìÆÃÀ¸·Î
T7910¿¡ ¿¬°áÀ» 120g·Î ¸¸µé¼ö ÀÖÁö ¾ÊÀ»±î¿ä?
½ÇÁ¦·Î ÃÖ´ë ½º·çDzÀº ÆÄÀÏÀÌ Á¤¸» Àß ºÐ»êµÈ °æ¿ì¿¡ ÃÖ´ë 60Áö±îÁö °¡´ÉÇÏ°Ú°í ¶óÀÌÆÃÀº 3·¹Çø®Ä« ±âÁØÀ̸é ÃÖ´ë°¡ 20Áö°¡ µÉÅ×ÁÒ..
°è»ê¹æ½ÄÀº
max node speed / (# of nodes - 1) = throughput ÀÌ°í ¿©±â¼ ³ëµå½ºÇǵå´Â ceph internal node ÀÏÅ×´Ï
´ëÀÔÇϸé (40*3)/(3-1)=60G °¡ Ãִ뽺·çDzÀÌ µÉ°Ì´Ï´Ù. ÀÌ¿ª½Ãµµ ¿ÜºÎ ¿¬°áÀÌ °¢°¢ 40Áö·Î ÇÑÆ÷Æ®¾¿ ¿¬°áµÈ ÃÑ ¾î±×¸®°ÔÀÌ¼Ç ½ºÇǵå°í,
¸¸ÀÏ ÀÌ°Ô 10Áö µà¾óÄ«µå ±âÁØÀ¸·Î ÇÏ¸é ¾Æ¹«·¡µµ Áö¿¬À̳ª ´ë¿ªÆø Á¦ÇÑ µî ¿©·¯°¡Áö ¹®Á¦·Î ÃÖ´ë ¼ÓµµÀÎ 60Áö±îÁø ´Ù ¸ø»Ì¾Æ³¾°Å¶ó »ý°¢ÇÕ´Ï´Ù.
40g¸¦ »ç·Á´ø°Ç ¾Æ´Ï°í 10g Áß¿¡ ½Ñ°Å ã´Ùº¸´Ï... 10g 48+40g 4Æ÷Ʈ¥¸®°¡ ÀÖ´õ¶ó°í¿ä.
Àü ±×³É °ö°Ô 10g·Î ¸¸Á·ÇÏ°í »ì·Á°í¿ä ¤¾
»ç½Ç Áö±Ý 10g nicµµ ¾ø¾î¼ ¿ëµ· ¸ð¾Æ »ç¾ßÇÕ´Ï´Ù ¤Ð.¤Ð
dacÄÉÀÌºíµµ Àú·ÅÇÑ ÆíÀ̱¸¿ä..
µ¥ºñ¾È À§¿¡ µ¹¾Æ°¡´Â promox ȯ°æÀÌ ºÎ·´³»¿ä. Àúµµ Áö±Ý ÇÏ´Â ÀÏ ¾ÈÇßÀ¸¸é promox Á» ¿½ÉÈ÷ °®°í ³î¾ÒÀ»Áöµµ ¤¾
esxi´Â ±¸Çü ÀÎÇǴϹêµå Ä«µå Áö¿øÀÌ ¶Ë¸ÁÀ̶ó ¤Ð.¤Ð ±×³É 10G¸¸ ÇÏ°í ¸»·Á°í¿ä.
À½ ±Ùµ¥ esxi ´Â Àß ¾ÈÁö¿øÇÒ°Å °°³×¿ä. ÀÏ¹Ý ¸®´ª½º¿¡¼± ¾ÆÁÖ Àߵ˴ϴÙ.
»ó±Þ¸ðµ¨µµ µÇ³» ¾ÈµÇ³»ÇÏ°í ÀÖ±¸¿ä ¤Ð.¤Ð
°á±¹Àº ebay°¡¼ OCE11102 5Àå + DAC ÄÉÀ̺í 10°³ ÁÖ¹®Çß³»¿ä.
´ñ±Û·Î ½ÃÀÛÇؼ "±â½ÂÀüÁö¸§"À¸·Î ³¡³ª´Ù´Ï ¤Ð.¤Ð
proxmox¿¡ 40g Ä«µå ¾î¶²°Å ¾²¼Ì¾î¿ä?
»ç½ÇÀº ¸á¶ó³ì½º connectx3pro ÁÒ
Àü ConnectX-3 VPI ¸ðµ¨ 2Àå »ç¿Ô´Âµð~
ESXi 6.7¿¡¼ °ø½ÄÁö¿ø ¾ÈÇÏ´Â ¸ðµ¨À̶ó ±×·±°¡ IB ¸ðµå·Î ÀνÄÀÌ Àß ¾ÈµÇ³»¿ä.
±× À±ÞÀ¸·Î °¡ÀÚ´Ï Ä«µå °¡°ÝÀÌ ³Ê¹« ³ô°í.
±×·¡¼ ±×³É ÀÌ´õ³Ý 10G °¡´Â°Å·Î ¤Ð.¤Ð
±Ùµ¥ 6.7¿¡¼´Â ¹º°¡ ºÒ¾ÈÁ¤Çؼ 6.5±îÁö´Â ±¦ÂúÀº°Å°°³×¿ä
¸¶Áö¸·À¸·Î ÀÌ´õ³Ý 10G ¸ðµå·Î Á¦´ë·Î µ¿ÀÛÇÏ´ÂÁö È®ÀÎÇÏ°í »Ì¾Æ¹ö¸±¶ó°í¿ä.
±×·±µ¥ crs326-24s 2q rm ÀÌ°Ç ±¹³»Á¤¹ß Çß³ª¿ä?
Á¤È®ÇÏ°Ô ´Ô²²¼ ÇÏ°í°è½Å ±â´ÉÀ» Á¦°øÇÏ´Â ±â¼úÀÔ´Ï´Ù.
Mellanox¿¡¼¸¸ Áö¿øÇÏ´Â ±â´ÉÀÔ´Ï´Ù.
Ȥ½Ã T7910À» TOR Switch ó·³ »ç¿ëÇؼ Ceph ¼¹ö 3´ë°£¿¡ Åë½ÅÀº ¾ÈÇغ¸¼Ì³ª¿ä? ±×·¯¸é Ceph ¼¹ö°£ÀÇ NICÀ» »¬¼öµµ ÀÖÀ» °Í °°Àºµ¥¿ä