안녕Ȣ16;세요,
.160; 대1032; Desktop1012; 40G 환ᅆ1;1004;/196; 만들고,
각 노드에서 iperf를 사용Ȣ16;여 Throughput 0143; Latency를 측1221;Ȣ16;/140;lj16; LAB1012; 구성 1473;1077;니다.
40G를 위한 스위치를 구매Ȣ16;기lj16; Ǻ12;/140;워서, 아래와 같1060; 구성Ȣ16;/140;고 합니다.
<데스크탑1>  <----멜라녹스 ConnectX-3 CX354A-FCBT 40G----> <데스크탑2>
데스크탑1032; 사양1008; 다1020;과 같1060; 구성Ȣ16;/140;고 합니다.
CPU: 라1060;1232;5 5500GT
RAM: 16GB * 2 (32GB)
MB: [ASRock] B550M Phantom Gaming 4
SSD: Gold P31 M.2 NVMe 2280
OS: UBUNTU 22.04
위와 같1008; 구성에서 1656;문1060; 1080;습니다.
터무니없lj16; 구성1064;1648; 1312;차도 구ǥ16;1060; .104;1648; 않아서 고견 ǥ12;ᓠ1;드리,192;습니다.
1) 멀티스트림1004;/196; Iperf를 2136;면 CPU / RAM 사양1060; ǥ12;1313;Ȣ16;1652; 않1012;까요..?
2) 멜라녹스 카드가 PCIE 3.0 * 8/112;1064;1064; ,163;1004;/196; 확1064;Ȣ16;였lj16;데요,
  라1060;1232;5 APU가 총 24/112;1064; 1473; 8/112;1064;1012; 내1109; GPU가 사용Ȣ16;여 8 + 4 + 4 /112;1064;1060; 남lj16; ,163;1004;/196; 1064;1648;Ȣ16;고 1080;습니다.
  4/112;1064;1008; SSD에 사용Ȣ16;도/197; Ȣ16;고, 나머1648; 8/112;1064;1060; ᕬ1;시 GPU 1204;용 /112;1064; 1064;1648; 알 수 1080;1012;까요?
 (멜라녹스 카드를 사용해야합니다..)
  메1064;보드 매뉴얼1012; 차근차근 1069;Ǻ12; 보았lj16;데 GPU 1204;용 1060;라lj16; 워딩1008; 0156;견Ȣ16;1648; 못했1648;만, ᕬ1;시나 dz10;Ǻ12; 1656;문드립니다.
3) 40G 카드가 0156;열1060; 엄청나다고 들었습니다.
  빅타워/196; 구성Ȣ16;고, 0169;열판 위에 별도 FAN1012; 구성Ȣ16;여도 터무니없1060; 사용할 수 없lj16; 환ᅆ1;1068;까요?
Ȣ16;드웨Ǻ12;1901; 식견1060; 1687;아 너무나도 터무니 없lj16; 1656;문1068; 수도 1080;,192;습니다.
고견 ǥ12;ᓠ1;드리,192;습니다.
감사합니다. 
그래픽쪽 슬롯에 꽃으면 아마 x8로 될껍니다
답변 주셔서 감사합니다.
답변주신 덕분에 CPU의 성능측면에서의 우려는 사라졌네요 :)
어차피 다른 확장카드 안 다시는거같으시니 내부 공간 텅텅 비어있고, 간섭도 걱정 안 해도 될테니 어떻게든 됩니다 (온도 내려갈떄까지 가이드든 팬이든, 방열판이든 추가하면 되니까요)
PCIe Lane 이 28 레인인가 그러는데..
거기서 뭘 어떻게 하려고요..
28레인 CPU를 2개라도 설치 하던지..
답변 주셔서 감사합니다.
PCIE 레인이 디바이스에 부족하지 않게 분배만 되면 문제가 없는것으로 알고 있었는데요,
총 24 레인 중 GPU 8레인, 멜라녹스 8레인, NVME 4레인으로 여유가 있을것이라 생각했었습니다.
좀 더 알아보도록 하겠습니다.
바람이 셀수록 (풍량이 많을수록) LAN카드 냉각에는 좋기는 하지만 펜이 세게 돌아야 할 수도 있기에 어느 정도 소음은 감수하셔야 합니다..
셋팅이 가능하시면 80mm 펜으로 1,000~ 2,000rpm 정도로 동작시켜 보세요..
그 외에 멜라녹스 랜카드가 재대로 8X로 동작하는지 확인해야 합니다..
https://www.2cpu.co.kr/network/14939
링크 확인하세요.. 드라이버 안에 정보 확인이 가능해보입니다..
답변 주셔서 감사합니다.
팬의 경우 고민이 있었는데, 필요 스펙을 말씀해 주셔서 감사합니다.
어느정도 가닥이 잡혀가는 것 같습니다.
문서상으로는 멜라녹스 ConnectX-3 CX354A-FCBT 40G의 경우 PCIE 3.0 8레인인 것으로 확인이 되는데요,
말씀 주신것처럼 좀 더 면밀히 알아보겠습니다.
타버릴 수도 있습니다.. (일반 PC보드의 펜단자는 12V 1A 까지 견디게 설계되어 있는 경우가 많습니다..)
우선 펜을 넣어 어느 정도 돌려보시고 랜카드의 방열판을 만져보아 손까락을 오래 대고 있을 정도면 어느 정도 큰 문제는 없지만 (대략 60~70도 정도)
손까락을 방열판에 대었을때 뜨거워서 오래 대고 있지 못할 정도(80도 이상)라면 펜의 풍량을 더 세게 해야 합니다..
전반적으로 맬라녹스 제품들은 다른 제조사 랜카드들 보다 열은 적게 나기에 열에 대한 스트레스를 받을 필요는 없습니다..
해당 LAB의 목적은 Kubernetes에서 여러 아키텍처 및 어플리케이션 구성 별로 네트워크 성능을 알아보고자 함입니다.
Ubuntu 20.04 desktop 설치하시고 OFED 드라이버를 설치하시면 되는데 이 과정에 시행 착오가 꽤 있을 수 있습니다.
ConnectX-3 CX354A-FCBT 카드는 OFED 드라이버를 설치하고 링크타입을 IB로 하면 56Gbps 네트워크를 구성할 수 있습니다. NIC 2대 직결하는 경우 IB 링크에서는 한 컴퓨터에서 opensmd 를 실행시켜 주어야 합니다.
56Gbps 용 DAC 를 2 CPU 장터에서 쉽게 구하실 수 있을 겁니다. DAC 이 싱글모드 광섬유 및 MPO 보다 발열이 적다고 해서 저는 DAC 를 선호합니다.
Infinband network의 대역 및 레이턴시 측정은 ib_send_bw 명령어 및 ib_send_lat 명령어로 측정하는 것이 iperf 를 이용하여 측정하는 것 보다 더 낫습니다.
멜라녹스 카드의 PCIE width 및 link speed 는 sudo mlnx_tune 명령으로 쉽게 확인 가능합니다.
아래 링크의 문서를 참조하시고 진행하다 막히는 것이 있으면 또 질문을 올려주세요.
https://enterprise-support.nvidia.com/s/article/performance-tuning-for-mellanox-adapters
답변주셔서 감사합니다.
먼저 OS Dependency가 Ubuntu 20.04임을 놓치고있었는데요, 말씀주신덕분에 좀더 빠르게 구성할 수 있을 것 같습니다.
네트워크 링크의 경우 LAB 목적 상 Infiniband가 아닌 Ethernet 구성을 필요로 합니다.
아직 구성하려는 환경에 IB를 적용할 수 있을지는 확인을 못해봤는데요, 여유가 된다면 IB환경에서의 측정 역시나 큰 의미가 있을 것 같습니다.
상세하게 설명해 주셔서 감사합니다.
드라이버 설치 간 이슈가 생기면 또다시 질문 드릴 수 있도록 하겠습니다 (__)..
https://svrforum.com/svr/693098
ConnectX-3도 구형이다보니 Linux에서도 지원이 안되는군요 ㅠ.ㅠ