간단한 내용과 함께 BMT 결과 화면을 캡쳐 하셔서 업로드 하시면 됩니다.
(SPEC Viewpert/Vray Rendering / HD Tune / HD Tach / CINEBENCH / CrystalDiskMark / IOMeter / AJA / 소비전력)
1. 서버
듀얼 epyc 7551, 슈퍼 마이크로 H11Dsi-NT, 16 x 16GB DDR4 2666V SK Hynix, SK Hynix P31 NVME SSD 500G, ConnectX-5 멜라녹스 카드, 100G AOC 케이블
Ubuntu 22.04 kernel version 6.2.0-26-generic
인피니 밴드 링크 타입 : 이더넷, 스위치 없이 2개 NIC 직결
2. 클라이언트
14700K, Gigabyte B760M AORUS ELITE, 2 x 16 GB DRAM-5600MT/s SK Hynix, SK Hynix P31 NVME SSD 500G, ConnectX-5 멜라녹스 카드, 100G AOC 케이블
Ubuntu 22.04 kernel version 6.2.0-26-generic
인피니 밴드 링크 타입 : 이더넷, 스위치 없이 2개 NIC 직결
단방향 대역폭 테스트 결과입니다. 92.46Gb/s 로 이전에 송주환님이 올려주신 결과와 비슷합니다. 100Gbps 이더넷 테스트 :: 2cpu, 지름이 시작되는 곳!
양방향 대역폭 테스트 결과입니다. 182.76Gb/s 으로 단방향의 거의 2배로 나왔습니다.
네트워크 레이턴시 테스트 결과입니다. 평균 1.21 마이크로 초로 링크 타입을 IB로 했을 때와 결과가 거의 같습니다.
대단하네요
이번에 우분투 클라이언트에서 iperf 로 테스트 하였는데 서버 및 클라이언트에서 -P 8 옵션을 주어 테스트 하였는데 서버 및 클라이언트에서 8개의 병렬 스레드로 테스트 한다는 의미인데 총 대역 90Gb/s 이상 나왔습니다.
원도우 iperf3 에서는 싱글 스레드로 테스트한 것으로 생각됩니다.
TCP/IP 특성 대문에 threads를 여러개를 사용해야 각각 대역의 총합이 line rate 근처에 도달합니다만 CPU 점유율이 높아집니다.
iperf 에서 8 스레드로 테스트할 때 듀얼 에픽 7551에서는 CPU 점유율이 최대 9%까지 올라가나 ib_send_bw로 테스트할 때는 CPU 점유율이 0.78%로 차이가 납니다.
테스트 환경의 8 threads라면 굉장히 한정적인 환경이지만 실제 대량 서비스가 일어나는 케이스라면
TCP/IP vs RDMA 사이의 CPU 점유율은 훨씬 더 차이가 벌어집니다.
상황에 따라 연산에 사용되어야 할 소중한 리소스가 Network I/O에 더 많이 소모되는 케이스가 발생할 수 있습니다.
대신 RDMA의 경우 loseless network를 가정하고 설계하기에 스위치, 어뎁터 구성과 펌웨어 호환성 및 케이블의 품질을 초기 설치 시 점검해야 하고, 마지막으로 특히 스위치 자체의 리소스 소모율 또한 시뮬레이션한 뒤 적합한 구성을 선택해야 합니다.