40G 랜카드를 다이렉트로 연결시 전송 속도가10G 정도밖에 나오지 않습니다.

   조회 5414   추천 0    

40G 네트워크를 호기심에 테스트를 진행하고 있는데요 

아무리 설정을 해봐도 컴퓨터 사이에서는 iperf 의 Bandwidth 가 10.0 Gbits/sec 를 넘어가지 않습니다. 

각각 PC 의 랜 카드는 HP 544QSFP 모델로 장착했고

A PC 는 PCIE 5.0 X4 슬롯에 장착되어 있고

B PC 는 PCIE 8.0 X4 로 장착 되어있습니다.

연결은 멜라녹스 40G 케이블 MC2206310 을 사용했습니다. 

네트워크의 다른 설정은 기본 상태이며 

드라이버는 connectx3의 윈도우 드라이버를 설치한 상태입니다.

드라이버 고급정보에서 ib 와 eth 를 선택하는 부분은 없고 장치 관리자에서 connectx3 ethernet Adapter 로 잡혀있는 상태입니다.

MTU 값은 1500 이고

이 상태에서

A  -> A 로 Iperf 를 하면 Bandwidth 가 약 8.54 ~ 8.7 Gbit/sec 로 나오고

B  -> B 로 Iperf 를 하면 Bandwidth 가 약 17 ~ 18 Gbit/sec 로 나오고 있습니다.

A -> B 로는 Bandwidth 가 약 6.87 ~ 7 Gbit/sec 로 나오는 상태고요

B -> A 로는 Bandwidth 가 약 9.24 ~ 9.79 Gbit/sec 로 나오고 있습니다.

A 와 B 를 동시에 iperf 를 할 때는

A -> B 로 약 6 Gbit/sec 

B -> A 로 약 7 Gbit/sec 

정도로 나오고 있습니다. 

원래 이 속도가 나오는 것이 정상은 아닌 거 같은데요 

어디가 문제인지 좀 갈피가 안 잡힙니다. 어디를 고쳐야 전송 속도가 제대로 나올지 문의를 드립니다. 

짧은글 일수록 신중하게.
감자 2022-01
저장장치가 nvme ssd pcie 4.0은 되야
40G 속도가 나온다고 알고 있습니다
안철현 2022-01
10G 이상은 iperf의 특성상 멀티쓰레드로 전송하셔야 할겁니다. 쓰레드 1개로는 10G~12G 넘기가 어렵더군요.
초구형 PCI-E 2.0 8X 샌디브릿지 시스템에서도 CPU 점유율이 좀 높지만 대충해도 20G~25G 정도는 뽑아줍이다.

서버를 여러개 띄우던가, 페레렐스트리밍 옵션이용합니다.

구글에서 iperf 40G 로 검색하시면 참고하실 자료들이 나올겁니다.
https://community.mellanox.com/s/article/howto-install-iperf-and-test-mellanox-adapters-performance
https://forums.servethehome.com/index.php?threads/cant-get-more-than-20gbps-out-of-a-40gbe-network-suggestions.11448/
epowergate 2022-01
8x slot 있으면 거기에 꽃아보세요
술이 2022-01
이더넷은 10G이고 인피니티밴드만 40G 아닌가요? 이런 모델들 꽤 있는걸로 아는데...
iperf 로 대역폭 넘어가는거 보니 40G 이더넷은 맞나 봅니다. 저거 제속도 나오는지 확인할려면 Hyper-V 같은걸로 VM 노드이동 마이그레이션 해보는겁니다. RDMA 정상동작해야 풀속도 끌고 올겁니다. 트래픽이 메모리로 우선 전송되는 순서가 되야 풀속도 끄집어 올거 같은데...
40G는 초당 4GB 정도는 나와야 되는데 NVME 4.0 버젼을 써야만 가능한 속도입니다.
빈둥빈둥 2022-01
답변 감사합니다.
일단 알려주신 내용들을 토대로 다시 셋팅이랑 이거 저거 테스트 해보겠습니다. !!
안철현 2022-01
그리고 iperf 테스트시 속도는 윈도우즈 보다는 리눅스에서  더 잘/안정적으로 나옵니다.

예전 Q&A 게시물인데, 참고해보세요. 100G 테스트 관련 글이네요.
https://www.2cpu.co.kr/QnA/768844
SiCMOS 2022-01
PCIE 대역폭이 부족해 보이네요


QnA
제목Page 628/5731
2015-12   1792543   백메가
2014-05   5267562   정은준1
2022-04   2726   VSPress
2020-02   2726   heck
2020-03   2726   online9
2020-09   2726   흥마
2020-04   2727   김영기
2019-07   2727   싱국날강도
2020-04   2727   땅부자
2021-04   2727   AMD빌런
2023-01   2727   회원
2023-08   2727   김민철GC
2022-08   2727   전진
2020-05   2727   수퍼싸이언
2021-07   2727   anti2cpu
2023-06   2728   Landa
2020-03   2728   죠슈아
2021-08   2728   VSPress
2022-03   2728   무쏘뿔처럼
2019-10   2728   주일
2023-08   2728   오나
2019-06   2728   Win31