안녕하세요,
두 대의 Desktop을 40G 환경으로 만들고,
각 노드에서 iperf를 사용하여 Throughput 및 Latency를 측정하려는 LAB을 구성 중입니다.
40G를 위한 스위치를 구매하기는 어려워서, 아래와 같이 구성하려고 합니다.
<데스크탑1> <----멜라녹스 ConnectX-3 CX354A-FCBT 40G----> <데스크탑2>
데스크탑의 사양은 다음과 같이 구성하려고 합니다.
CPU: 라이젠5 5500GT
RAM: 16GB * 2 (32GB)
MB: [ASRock] B550M Phantom Gaming 4
SSD: Gold P31 M.2 NVMe 2280
OS: UBUNTU 22.04
위와 같은 구성에서 질문이 있습니다.
터무니없는 구성인지 조차도 구분이 되지 않아서 고견 부탁드리겠습니다.
1) 멀티스트림으로 Iperf를 쏘면 CPU / RAM 사양이 부족하진 않을까요..?
2) 멜라녹스 카드가 PCIE 3.0 * 8레인인 것으로 확인하였는데요,
라이젠5 APU가 총 24레인 중 8레인을 내장 GPU가 사용하여 8 + 4 + 4 레인이 남는 것으로 인지하고 있습니다.
4레인은 SSD에 사용하도록 하고, 나머지 8레인이 혹시 GPU 전용 레인 인지 알 수 있을까요?
(멜라녹스 카드를 사용해야합니다..)
메인보드 매뉴얼을 차근차근 읽어 보았는데 GPU 전용 이라는 워딩은 발견하지 못했지만, 혹시나 싶어 질문드립니다.
3) 40G 카드가 발열이 엄청나다고 들었습니다.
빅타워로 구성하고, 방열판 위에 별도 FAN을 구성하여도 터무니없이 사용할 수 없는 환경일까요?
하드웨어쪽 식견이 짧아 너무나도 터무니 없는 질문일 수도 있겠습니다.
고견 부탁드리겠습니다.
감사합니다.
Կ Ƹ x8 ɲϴ
亯 ּż մϴ.
亯ֽ п CPU 鿡 :)
ٸ Ȯī ٽô°Űô ְ, ص ״ Ե ˴ϴ (µ ̵ ̵, 濭̵ ߰ϸ Ǵϱ)
PCIe Lane 28 ΰ µ..
ű⼭ Ϸ..
28 CPU 2 ġ ϴ..
亯 ּż մϴ.
PCIE ̽ ʰ й踸 Ǹ ° ˰ ־µ,
24 GPU 8, 콺 8, NVME 4 ̶ ߾ϴ.
˾ƺ ϰڽϴ.
ٶ (dz ) LANī ð ƾ ֱ ϼž մϴ..
Ͻø 80mm 1,000~ 2,000rpm ۽ ..
ܿ 콺 ī尡 8X ϴ Ȯؾ մϴ..
https://www.2cpu.co.kr/network/14939
ũ Ȯϼ.. ̹ ȿ Ȯ غԴϴ..
亯 ּż մϴ.
־µ, ʿ ּż մϴ.
ϴ.
δ 콺 ConnectX-3 CX354A-FCBT 40G PCIE 3.0 8 Ȯ Ǵµ,
ֽŰó ˾ƺڽϴ.
Ÿ ֽϴ.. (Ϲ PC ڴ 12V 1A ߵ Ǿ ִ 찡 ϴ..)
켱 ־ ð ī 濭 ձ ū (뷫 60~70 )
ձ 濭ǿ ߰ſ (80 ̻) dz ؾ մϴ..
ȶ콺 ǰ ٸ ī Ʈ ʿ ϴ..
ش LAB Kubernetes Űó ø̼ Ʈũ ˾ƺ Դϴ.
Ubuntu 20.04 desktop ġϽð OFED ̹ ġϽø Ǵµ ֽϴ.
ConnectX-3 CX354A-FCBT ī OFED ̹ ġϰ ũŸ IB ϸ 56Gbps Ʈũ ֽϴ. NIC 2 ϴ IB ũ ǻͿ opensmd ־ մϴ.
56Gbps DAC 2 CPU Ϳ Ͻ ̴ϴ. DAC ̱۸ MPO ߿ ٰ ؼ DAC ȣմϴ.
Infinband network 뿪 Ͻ ib_send_bw ɾ ib_send_lat ɾ ϴ iperf ̿Ͽ ϴ ϴ.
콺 ī PCIE width link speed sudo mlnx_tune Ȯ մϴ.
Ʒ ũ Ͻð ϴ ÷ּ.
https://enterprise-support.nvidia.com/s/article/performance-tuning-for-mellanox-adapters
亯ּż մϴ.
OS Dependency Ubuntu 20.04 ġ־µ, ֽŴп ϴ.
Ʈũ ũ LAB Infiniband ƴ Ethernet ʿ մϴ.
Ϸ ȯ濡 IB Ȯ غôµ, ȴٸ IBȯ濡 ó ū ǹ̰ ϴ.
ϰ ּż մϴ.
̹ ġ ̽ Ǵٽ 帱 ֵ ϰڽϴ (__)..
https://svrforum.com/svr/693098
ConnectX-3 ̴ٺ Linux ȵǴ± .