안녕하세요,
두 대의 Desktop을 40G 환경으로 만들고,
각 노드에서 iperf를 사용하여 Throughput 및 Latency를 측정하려는 LAB을 구성 중입니다.
40G를 위한 스위치를 구매하기는 어려워서, 아래와 같이 구성하려고 합니다.
<데스크탑1> <----멜라녹스 ConnectX-3 CX354A-FCBT 40G----> <데스크탑2>
데스크탑의 사양은 다음과 같이 구성하려고 합니다.
CPU: 라이젠5 5500GT
RAM: 16GB * 2 (32GB)
MB: [ASRock] B550M Phantom Gaming 4
SSD: Gold P31 M.2 NVMe 2280
OS: UBUNTU 22.04
위와 같은 구성에서 질문이 있습니다.
터무니없는 구성인지 조차도 구분이 되지 않아서 고견 부탁드리겠습니다.
1) 멀티스트림으로 Iperf를 쏘면 CPU / RAM 사양이 부족하진 않을까요..?
2) 멜라녹스 카드가 PCIE 3.0 * 8레인인 것으로 확인하였는데요,
라이젠5 APU가 총 24레인 중 8레인을 내장 GPU가 사용하여 8 + 4 + 4 레인이 남는 것으로 인지하고 있습니다.
4레인은 SSD에 사용하도록 하고, 나머지 8레인이 혹시 GPU 전용 레인 인지 알 수 있을까요?
(멜라녹스 카드를 사용해야합니다..)
메인보드 매뉴얼을 차근차근 읽어 보았는데 GPU 전용 이라는 워딩은 발견하지 못했지만, 혹시나 싶어 질문드립니다.
3) 40G 카드가 발열이 엄청나다고 들었습니다.
빅타워로 구성하고, 방열판 위에 별도 FAN을 구성하여도 터무니없이 사용할 수 없는 환경일까요?
하드웨어쪽 식견이 짧아 너무나도 터무니 없는 질문일 수도 있겠습니다.
고견 부탁드리겠습니다.
감사합니다.
그래픽쪽 슬롯에 꽃으면 아마 x8로 될껍니다
답변 주셔서 감사합니다.
답변주신 덕분에 CPU의 성능측면에서의 우려는 사라졌네요 :)
어차피 다른 확장카드 안 다시는거같으시니 내부 공간 텅텅 비어있고, 간섭도 걱정 안 해도 될테니 어떻게든 됩니다 (온도 내려갈떄까지 가이드든 팬이든, 방열판이든 추가하면 되니까요)
PCIe Lane 이 28 레인인가 그러는데..
거기서 뭘 어떻게 하려고요..
28레인 CPU를 2개라도 설치 하던지..
답변 주셔서 감사합니다.
PCIE 레인이 디바이스에 부족하지 않게 분배만 되면 문제가 없는것으로 알고 있었는데요,
총 24 레인 중 GPU 8레인, 멜라녹스 8레인, NVME 4레인으로 여유가 있을것이라 생각했었습니다.
좀 더 알아보도록 하겠습니다.
바람이 셀수록 (풍량이 많을수록) LAN카드 냉각에는 좋기는 하지만 펜이 세게 돌아야 할 수도 있기에 어느 정도 소음은 감수하셔야 합니다..
셋팅이 가능하시면 80mm 펜으로 1,000~ 2,000rpm 정도로 동작시켜 보세요..
그 외에 멜라녹스 랜카드가 재대로 8X로 동작하는지 확인해야 합니다..
https://www.2cpu.co.kr/network/14939
링크 확인하세요.. 드라이버 안에 정보 확인이 가능해보입니다..
답변 주셔서 감사합니다.
팬의 경우 고민이 있었는데, 필요 스펙을 말씀해 주셔서 감사합니다.
어느정도 가닥이 잡혀가는 것 같습니다.
문서상으로는 멜라녹스 ConnectX-3 CX354A-FCBT 40G의 경우 PCIE 3.0 8레인인 것으로 확인이 되는데요,
말씀 주신것처럼 좀 더 면밀히 알아보겠습니다.
타버릴 수도 있습니다.. (일반 PC보드의 펜단자는 12V 1A 까지 견디게 설계되어 있는 경우가 많습니다..)
우선 펜을 넣어 어느 정도 돌려보시고 랜카드의 방열판을 만져보아 손까락을 오래 대고 있을 정도면 어느 정도 큰 문제는 없지만 (대략 60~70도 정도)
손까락을 방열판에 대었을때 뜨거워서 오래 대고 있지 못할 정도(80도 이상)라면 펜의 풍량을 더 세게 해야 합니다..
전반적으로 맬라녹스 제품들은 다른 제조사 랜카드들 보다 열은 적게 나기에 열에 대한 스트레스를 받을 필요는 없습니다..
해당 LAB의 목적은 Kubernetes에서 여러 아키텍처 및 어플리케이션 구성 별로 네트워크 성능을 알아보고자 함입니다.
Ubuntu 20.04 desktop 설치하시고 OFED 드라이버를 설치하시면 되는데 이 과정에 시행 착오가 꽤 있을 수 있습니다.
ConnectX-3 CX354A-FCBT 카드는 OFED 드라이버를 설치하고 링크타입을 IB로 하면 56Gbps 네트워크를 구성할 수 있습니다. NIC 2대 직결하는 경우 IB 링크에서는 한 컴퓨터에서 opensmd 를 실행시켜 주어야 합니다.
56Gbps 용 DAC 를 2 CPU 장터에서 쉽게 구하실 수 있을 겁니다. DAC 이 싱글모드 광섬유 및 MPO 보다 발열이 적다고 해서 저는 DAC 를 선호합니다.
Infinband network의 대역 및 레이턴시 측정은 ib_send_bw 명령어 및 ib_send_lat 명령어로 측정하는 것이 iperf 를 이용하여 측정하는 것 보다 더 낫습니다.
멜라녹스 카드의 PCIE width 및 link speed 는 sudo mlnx_tune 명령으로 쉽게 확인 가능합니다.
아래 링크의 문서를 참조하시고 진행하다 막히는 것이 있으면 또 질문을 올려주세요.
https://enterprise-support.nvidia.com/s/article/performance-tuning-for-mellanox-adapters
답변주셔서 감사합니다.
먼저 OS Dependency가 Ubuntu 20.04임을 놓치고있었는데요, 말씀주신덕분에 좀더 빠르게 구성할 수 있을 것 같습니다.
네트워크 링크의 경우 LAB 목적 상 Infiniband가 아닌 Ethernet 구성을 필요로 합니다.
아직 구성하려는 환경에 IB를 적용할 수 있을지는 확인을 못해봤는데요, 여유가 된다면 IB환경에서의 측정 역시나 큰 의미가 있을 것 같습니다.
상세하게 설명해 주셔서 감사합니다.
드라이버 설치 간 이슈가 생기면 또다시 질문 드릴 수 있도록 하겠습니다 (__)..
https://svrforum.com/svr/693098
ConnectX-3도 구형이다보니 Linux에서도 지원이 안되는군요 ㅠ.ㅠ