¾È³çÇϼ¼¿ä, ½ÇÇèÀ» À§ÇÑ LABÀ» ±¸¼ºÁßÀε¥ Á¶¾ð ºÎŹµå¸®°Ú½À´Ï´Ù.

bag0504   
   Á¶È¸ 1605   Ãßõ 0    

안녕하세요,

두 대의 Desktop을 40G 환경으로 만들고,
각 노드에서 iperf를 사용하여 Throughput 및 Latency를 측정하려는 LAB을 구성 중입니다.
40G를 위한 스위치를 구매하기는 어려워서, 아래와 같이 구성하려고 합니다.


<데스크탑1>  <----멜라녹스 ConnectX-3 CX354A-FCBT 40G----> <데스크탑2>


데스크탑의 사양은 다음과 같이 구성하려고 합니다.

CPU: 라이젠5 5500GT
RAM: 16GB * 2 (32GB)
MB: [ASRock] B550M Phantom Gaming 4
SSD: Gold P31 M.2 NVMe 2280
OS: UBUNTU 22.04

위와 같은 구성에서 질문이 있습니다.
터무니없는 구성인지 조차도 구분이 되지 않아서 고견 부탁드리겠습니다.

1) 멀티스트림으로 Iperf를 쏘면 CPU / RAM 사양이 부족하진 않을까요..?
2) 멜라녹스 카드가 PCIE 3.0 * 8레인인 것으로 확인하였는데요,
  라이젠5 APU가 총 24레인 중 8레인을 내장 GPU가 사용하여 8 + 4 + 4 레인이 남는 것으로 인지하고 있습니다.
  4레인은 SSD에 사용하도록 하고, 나머지 8레인이 혹시 GPU 전용 레인 인지 알 수 있을까요?
 (멜라녹스 카드를 사용해야합니다..)
  메인보드 매뉴얼을 차근차근 읽어 보았는데 GPU 전용 이라는 워딩은 발견하지 못했지만, 혹시나 싶어 질문드립니다.
3) 40G 카드가 발열이 엄청나다고 들었습니다.
  빅타워로 구성하고, 방열판 위에 별도 FAN을 구성하여도 터무니없이 사용할 수 없는 환경일까요?


하드웨어쪽 식견이 짧아 너무나도 터무니 없는 질문일 수도 있겠습니다.
고견 부탁드리겠습니다.


감사합니다. 

ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
dateno1 06-03
ÀÏ´Ü ±× ½ÃÇ»¸é 40±â°¡°¡ ¾Æ´Ï¶ó ¸ÖƼ ½º·¹µå¶ó¸é 100±â°¡µµ ó¸® °¡´ÉÇÑ ½ºÆÑÀÔ´Ï´Ù

±×·¡ÇÈÂÊ ½½·Ô¿¡ ²ÉÀ¸¸é ¾Æ¸¶ x8·Î µÉ²®´Ï´Ù
     
bag0504 06-04
¾È³çÇϼ¼¿ä,
´äº¯ Áּż­ °¨»çÇÕ´Ï´Ù.
´äº¯ÁֽŠ´öºÐ¿¡ CPUÀÇ ¼º´ÉÃø¸é¿¡¼­ÀÇ ¿ì·Á´Â »ç¶óÁ³³×¿ä :)
          
dateno1 06-04
Âü°í·Î ¹ß¿­Àº ¸ð´ÏÅ͸µ Çغ¸½ÅÈÄ Á¶Ä¡ÇÏ½Ã¸é µÇ°í, ¿©Â÷Çϸé Ä«µå¿¡ ¹ß¿­ÆÇ ´õ ºÙÀÌ°í, Á÷Á¢ ÆÒÀ» 1~2°³Á¤µµ ºÙÀ̴½ÄÀ¸·Î °­È­ÇÏ¸é ¾î¶»°Ôµç ¹öÆ¿²®´Ï´Ù

¾îÂ÷ÇÇ ´Ù¸¥ È®ÀåÄ«µå ¾È ´Ù½Ã´Â°Å°°À¸½Ã´Ï ³»ºÎ °ø°£ ÅÖÅÖ ºñ¾îÀÖ°í, °£¼·µµ °ÆÁ¤ ¾È Çصµ µÉÅ×´Ï ¾î¶»°Ôµç µË´Ï´Ù (¿Âµµ ³»·Á°¥‹š±îÁö °¡À̵åµç ÆÒÀ̵ç, ¹æ¿­ÆÇÀ̵ç Ãß°¡ÇÏ¸é µÇ´Ï±î¿ä)
¾²·¹µå¸®ÆÛ³ª Á¦¿Â½Ã½ºÅÛÀ¸·Î ÇؾßÁö °ÔÀÓ¿ë ÄÄÇ»ÅÍ°¡
PCIe Lane ÀÌ 28 ·¹ÀÎÀΰ¡ ±×·¯´Âµ¥..
°Å±â¼­ ¹» ¾î¶»°Ô ÇÏ·Á°í¿ä..
28·¹ÀÎ CPU¸¦ 2°³¶óµµ ¼³Ä¡ ÇÏ´øÁö..
     
bag0504 06-04
¾È³çÇϼ¼¿ä,
´äº¯ Áּż­ °¨»çÇÕ´Ï´Ù.

PCIE ·¹ÀÎÀÌ µð¹ÙÀ̽º¿¡ ºÎÁ·ÇÏÁö ¾Ê°Ô ºÐ¹è¸¸ µÇ¸é ¹®Á¦°¡ ¾ø´Â°ÍÀ¸·Î ¾Ë°í ÀÖ¾ú´Âµ¥¿ä,
ÃÑ 24 ·¹ÀÎ Áß GPU 8·¹ÀÎ, ¸á¶ó³ì½º 8·¹ÀÎ, NVME 4·¹ÀÎÀ¸·Î ¿©À¯°¡ ÀÖÀ»°ÍÀ̶ó »ý°¢Çß¾ú½À´Ï´Ù.
Á» ´õ ¾Ë¾Æº¸µµ·Ï ÇÏ°Ú½À´Ï´Ù.
     
dateno1 06-04
NIC 1 + NVMe 1Á¤µµ¶ó¸é »ó°ü ¾ø´Ù°í º¾´Ï´Ù (ÇÕÃĺÁ¾ß 12)
¹Ú¹®Çü 06-03
A3 : LAN Ä«µå ¹æ¿­ÆÇ¿¡ ½Ã¿øÇÑ °ø±â°¡ Àß È带¼ö ÀÖµµ·Ï ÆæÀ» Ãß°¡ÇÏ¸é µË´Ï´Ù..

    ¹Ù¶÷ÀÌ ¼¿¼ö·Ï (dz·®ÀÌ ¸¹À»¼ö·Ï) LANÄ«µå ³Ã°¢¿¡´Â ÁÁ±â´Â ÇÏÁö¸¸ ÆæÀÌ ¼¼°Ô µ¹¾Æ¾ß ÇÒ ¼öµµ Àֱ⿡ ¾î´À Á¤µµ ¼ÒÀ½Àº °¨¼öÇÏ¼Å¾ß ÇÕ´Ï´Ù..

      ¼ÂÆÃÀÌ °¡´ÉÇϽøé 80mm ÆæÀ¸·Î 1,000~ 2,000rpm Á¤µµ·Î µ¿ÀÛ½ÃÄÑ º¸¼¼¿ä..


±× ¿Ü¿¡ ¸á¶ó³ì½º ·£Ä«µå°¡ Àç´ë·Î 8X·Î µ¿ÀÛÇÏ´ÂÁö È®ÀÎÇØ¾ß ÇÕ´Ï´Ù..

 https://www.2cpu.co.kr/network/14939

¸µÅ© È®ÀÎÇϼ¼¿ä.. µå¶óÀ̹ö ¾È¿¡ Á¤º¸ È®ÀÎÀÌ °¡´ÉÇغ¸ÀÔ´Ï´Ù..
     
bag0504 06-04
¾È³çÇϼ¼¿ä,
´äº¯ Áּż­ °¨»çÇÕ´Ï´Ù.

ÆÒÀÇ °æ¿ì °í¹ÎÀÌ ÀÖ¾ú´Âµ¥, ÇÊ¿ä ½ºÆåÀ» ¸»¾¸ÇØ Áּż­ °¨»çÇÕ´Ï´Ù.
¾î´ÀÁ¤µµ °¡´ÚÀÌ ÀâÇô°¡´Â °Í °°½À´Ï´Ù.

¹®¼­»óÀ¸·Î´Â ¸á¶ó³ì½º ConnectX-3 CX354A-FCBT 40GÀÇ °æ¿ì PCIE 3.0 8·¹ÀÎÀÎ °ÍÀ¸·Î È®ÀÎÀÌ µÇ´Âµ¥¿ä,
¸»¾¸ ÁֽŰÍó·³ Á» ´õ ¸é¹ÐÈ÷ ¾Ë¾Æº¸°Ú½À´Ï´Ù.
          
¹Ú¹®Çü 06-04
º»·¡ ·¢¸¶¿îÆ® ¼­¹ö¿¡¼­ÀÇ ÆæÀº dz·®ÀÌ ´õ ¼Á´Ï´Ù¸¸ (6,000rpm 12V 2A ÀÌ»ó) ±×¸¸Å­ Àü±âµµ ¸¹ÀÌ ¸Ô°í º¸µå¿¡ Á÷°á·Î ¿¬°áÇÏ¸é º¸µåÀÇ Ææ´ÜÀÚ°¡

Ÿ¹ö¸± ¼öµµ ÀÖ½À´Ï´Ù.. (ÀÏ¹Ý PCº¸µåÀÇ Ææ´ÜÀÚ´Â 12V 1A ±îÁö °ßµð°Ô ¼³°èµÇ¾î ÀÖ´Â °æ¿ì°¡ ¸¹½À´Ï´Ù..)

¿ì¼± ÆæÀ» ³Ö¾î ¾î´À Á¤µµ µ¹·Áº¸½Ã°í ·£Ä«µåÀÇ ¹æ¿­ÆÇÀ» ¸¸Á®º¸¾Æ ¼Õ±î¶ôÀ» ¿À·¡ ´ë°í ÀÖÀ» Á¤µµ¸é ¾î´À Á¤µµ Å« ¹®Á¦´Â ¾øÁö¸¸ (´ë·« 60~70µµ Á¤µµ)

¼Õ±î¶ôÀ» ¹æ¿­ÆÇ¿¡ ´ë¾úÀ»¶§ ¶ß°Å¿ö¼­ ¿À·¡ ´ë°í ÀÖÁö ¸øÇÒ Á¤µµ(80µµ ÀÌ»ó)¶ó¸é ÆæÀÇ Ç³·®À» ´õ ¼¼°Ô ÇØ¾ß ÇÕ´Ï´Ù..

Àü¹ÝÀûÀ¸·Î ¸È¶ó³ì½º Á¦Ç°µéÀº ´Ù¸¥ Á¦Á¶»ç ·£Ä«µåµé º¸´Ù ¿­Àº Àû°Ô ³ª±â¿¡ ¿­¿¡ ´ëÇÑ ½ºÆ®·¹½º¸¦ ¹ÞÀ» ÇÊ¿ä´Â ¾ø½À´Ï´Ù..
¸ñÀûÀÌ ¹«¾ùÀΰ¡¿ä?
     
bag0504 06-04
¾È³çÇϼ¼¿ä,

ÇØ´ç LABÀÇ ¸ñÀûÀº Kubernetes¿¡¼­ ¿©·¯ ¾ÆÅ°ÅØó ¹× ¾îÇø®ÄÉÀÌ¼Ç ±¸¼º º°·Î ³×Æ®¿öÅ© ¼º´ÉÀ» ¾Ë¾Æº¸°íÀÚ ÇÔÀÔ´Ï´Ù.
TubeAmp 06-04
¸á¶ó³ì½º ConnectX-3 CX354A-FCBT  ÀÇ Ubuntu ¿ë µå¶óÀ̹ö°¡ 20.04 ¿¡¼­¸¸ Áö¿øµË´Ï´Ù. 22.04 ¿¡¼­´Â  ConnectX-3 µå¶óÀ̹ö¸¦ ¼³Ä¡ÇÒ ¼ö ¾ø½À´Ï´Ù.
 Ubuntu 20.04  desktop ¼³Ä¡ÇÏ½Ã°í  OFED  µå¶óÀ̹ö¸¦ ¼³Ä¡ÇÏ½Ã¸é µÇ´Âµ¥ ÀÌ °úÁ¤¿¡ ½ÃÇà Âø¿À°¡ ²Ï ÀÖÀ» ¼ö ÀÖ½À´Ï´Ù.
ConnectX-3 CX354A-FCBT  Ä«µå´Â  OFED  µå¶óÀ̹ö¸¦ ¼³Ä¡ÇÏ°í ¸µÅ©Å¸ÀÔÀ» IB·Î Çϸé 56Gbps  ³×Æ®¿öÅ©¸¦ ±¸¼ºÇÒ ¼ö ÀÖ½À´Ï´Ù.  NIC 2´ë Á÷°áÇÏ´Â °æ¿ì  IB ¸µÅ©¿¡¼­´Â ÇÑ ÄÄÇ»ÅÍ¿¡¼­  opensmd ¸¦ ½ÇÇà½ÃÄÑ ÁÖ¾î¾ß ÇÕ´Ï´Ù.
56Gbps ¿ë  DAC ¸¦ 2 CPU ÀåÅÍ¿¡¼­ ½±°Ô ±¸ÇÏ½Ç ¼ö ÀÖÀ» °Ì´Ï´Ù. DAC ÀÌ ½Ì±Û¸ðµå ±¤¼¶À¯ ¹×  MPO º¸´Ù ¹ß¿­ÀÌ Àû´Ù°í Çؼ­ Àú´Â DAC ¸¦ ¼±È£ÇÕ´Ï´Ù.
Infinband networkÀÇ ´ë¿ª ¹× ·¹ÀÌÅϽà ÃøÁ¤Àº  ib_send_bw  ¸í·É¾î ¹× ib_send_lat  ¸í·É¾î·Î ÃøÁ¤ÇÏ´Â °ÍÀÌ iperf ¸¦ ÀÌ¿ëÇÏ¿© ÃøÁ¤ÇÏ´Â °Í º¸´Ù ´õ ³´½À´Ï´Ù.
¸á¶ó³ì½º Ä«µåÀÇ  PCIE width  ¹× link speed ´Â sudo mlnx_tune  ¸í·ÉÀ¸·Î ½±°Ô È®ÀÎ °¡´ÉÇÕ´Ï´Ù.
¾Æ·¡ ¸µÅ©ÀÇ ¹®¼­¸¦ ÂüÁ¶ÇϽðí ÁøÇàÇÏ´Ù ¸·È÷´Â °ÍÀÌ ÀÖÀ¸¸é ¶Ç Áú¹®À» ¿Ã·ÁÁÖ¼¼¿ä.
https://enterprise-support.nvidia.com/s/article/performance-tuning-for-mellanox-adapters
     
bag0504 06-04
¾È³çÇϼ¼¿ä,
´äº¯Áּż­ °¨»çÇÕ´Ï´Ù.

¸ÕÀú OS Dependency°¡ Ubuntu 20.04ÀÓÀ» ³õÄ¡°íÀÖ¾ú´Âµ¥¿ä, ¸»¾¸ÁֽŴöºÐ¿¡ Á»´õ ºü¸£°Ô ±¸¼ºÇÒ ¼ö ÀÖÀ» °Í °°½À´Ï´Ù.
³×Æ®¿öÅ© ¸µÅ©ÀÇ °æ¿ì LAB ¸ñÀû »ó Infiniband°¡ ¾Æ´Ñ Ethernet ±¸¼ºÀ» ÇÊ¿ä·Î ÇÕ´Ï´Ù.
¾ÆÁ÷ ±¸¼ºÇÏ·Á´Â ȯ°æ¿¡ IB¸¦ Àû¿ëÇÒ ¼ö ÀÖÀ»Áö´Â È®ÀÎÀ» ¸øÇغôµ¥¿ä, ¿©À¯°¡ µÈ´Ù¸é IBȯ°æ¿¡¼­ÀÇ ÃøÁ¤ ¿ª½Ã³ª Å« Àǹ̰¡ ÀÖÀ» °Í °°½À´Ï´Ù.
»ó¼¼ÇÏ°Ô ¼³¸íÇØ Áּż­ °¨»çÇÕ´Ï´Ù.
µå¶óÀ̹ö ¼³Ä¡ °£ À̽´°¡ »ý±â¸é ¶Ç´Ù½Ã Áú¹® µå¸± ¼ö ÀÖµµ·Ï ÇÏ°Ú½À´Ï´Ù (__)..
          
TubeAmp 06-04
ÀÌ´õ³Ý ¸µÅ©¸¦ »ç¿ëÇÏ½Å´Ù¸é ¾Æ·§±ÛÀ» ÂüÁ¶ÇØ º¸¼¼¿ä.
https://svrforum.com/svr/693098
     
maronet 06-04
Àü esxi 7.0¿¡¼­ Áö¿øµÇ¼­ ¾Æ¹« »ý°¢ ¾øÀÌ ¾²°í ÀÖ¾ú°Åµç¿ä.
ConnectX-3µµ ±¸ÇüÀÌ´Ùº¸´Ï Linux¿¡¼­µµ Áö¿øÀÌ ¾ÈµÇ´Â±º¿ä ¤Ð.¤Ð
          
TubeAmp 06-04
ConnectX-3°¡ ubuntu ±âÁØ 20.04±îÁö µå¶óÀ̹ö°¡ Áö¿øµË´Ï´Ù.


QnA
Á¦¸ñPage 281/5689
2014-05   5010959   Á¤ÀºÁØ1
2015-12   1546626   ¹é¸Þ°¡
2022-03   1606   õ¾È»ç´ÂÂû¡¦
2023-01   1606   ½ÅÀº¿Ö
2021-12   1606   toto
2022-09   1606   ÇູÇϼ¼
06-03   1606   bag0504
05-06   1606   drama
2021-08   1606   À嵿°Ç2014
2022-09   1606   kino0924
2022-07   1606   cho609495
2023-11   1606   Rich
2023-07   1606   ¾²·¹±â´ÜÀå
05-18   1607   »ßµ¹À̽½ÇÄÀÌ
2022-04   1607   ±èÈÆ1
2023-04   1607   ³¥³¥¸Ç
2022-12   1607   ·ù³Ù¾ÆÀ̽º
2023-11   1607   ±èÁØ¿¬
2023-05   1607   ¹Ì´ã
2022-10   1607   ÇãÀα¸¸¶Æ¾
2021-11   1607   EYESSHOT
2022-10   1607   comduck