40G 네트워크를 호기심에 테스트를 진행하고 있는데요
아무리 설정을 해봐도 컴퓨터 사이에서는 iperf 의 Bandwidth 가 10.0 Gbits/sec 를 넘어가지 않습니다.
각각 PC 의 랜 카드는 HP 544QSFP 모델로 장착했고
A PC 는 PCIE 5.0 X4 슬롯에 장착되어 있고
B PC 는 PCIE 8.0 X4 로 장착 되어있습니다.
연결은 멜라녹스 40G 케이블 MC2206310 을 사용했습니다.
네트워크의 다른 설정은 기본 상태이며
드라이버는 connectx3의 윈도우 드라이버를 설치한 상태입니다.
드라이버 고급정보에서 ib 와 eth 를 선택하는 부분은 없고 장치 관리자에서 connectx3 ethernet Adapter 로 잡혀있는 상태입니다.
MTU 값은 1500 이고
이 상태에서
A -> A 로 Iperf 를 하면 Bandwidth 가 약 8.54 ~ 8.7 Gbit/sec 로 나오고
B -> B 로 Iperf 를 하면 Bandwidth 가 약 17 ~ 18 Gbit/sec 로 나오고 있습니다.
A -> B 로는 Bandwidth 가 약 6.87 ~ 7 Gbit/sec 로 나오는 상태고요
B -> A 로는 Bandwidth 가 약 9.24 ~ 9.79 Gbit/sec 로 나오고 있습니다.
A 와 B 를 동시에 iperf 를 할 때는
A -> B 로 약 6 Gbit/sec
B -> A 로 약 7 Gbit/sec
정도로 나오고 있습니다.
원래 이 속도가 나오는 것이 정상은 아닌 거 같은데요
어디가 문제인지 좀 갈피가 안 잡힙니다. 어디를 고쳐야 전송 속도가 제대로 나올지 문의를 드립니다.
40G 속도가 나온다고 알고 있습니다
초구형 PCI-E 2.0 8X 샌디브릿지 시스템에서도 CPU 점유율이 좀 높지만 대충해도 20G~25G 정도는 뽑아줍이다.
서버를 여러개 띄우던가, 페레렐스트리밍 옵션이용합니다.
구글에서 iperf 40G 로 검색하시면 참고하실 자료들이 나올겁니다.
https://community.mellanox.com/s/article/howto-install-iperf-and-test-mellanox-adapters-performance
https://forums.servethehome.com/index.php?threads/cant-get-more-than-20gbps-out-of-a-40gbe-network-suggestions.11448/
iperf 로 대역폭 넘어가는거 보니 40G 이더넷은 맞나 봅니다. 저거 제속도 나오는지 확인할려면 Hyper-V 같은걸로 VM 노드이동 마이그레이션 해보는겁니다. RDMA 정상동작해야 풀속도 끌고 올겁니다. 트래픽이 메모리로 우선 전송되는 순서가 되야 풀속도 끄집어 올거 같은데...
40G는 초당 4GB 정도는 나와야 되는데 NVME 4.0 버젼을 써야만 가능한 속도입니다.
일단 알려주신 내용들을 토대로 다시 셋팅이랑 이거 저거 테스트 해보겠습니다. !!
예전 Q&A 게시물인데, 참고해보세요. 100G 테스트 관련 글이네요.
https://www.2cpu.co.kr/QnA/768844