어른이 2024-07

iperf 가지고 테스트하면 속도 나올꺼같은데요...

어른이 2024-07

iperf 테스트 할때 싱글 스레드 가지고는 40G 뽑기 힘들수도 있으니 -P 옵션을 줘서 4~8개의 스레드로 테스트 해보죠!

jjjjjjj1 2024-07

-P 8 -t 60  결과 첨부하였습니다. 감사합니다.

어른이 2024-07

그 외에는... 랜카드 발열도 한번 체크해볼까요?

댕댕이 2024-07

2630으로는 싱글 성능이 딸려서 단일로는 5기가 정도 나오는게 정상이고 멀티스레드 옵션 넣고 창크기 늘려서 한 번 테스트해보세요. 받는 쪽 사양은 어떻게 되는지요? 사진은 보내는 쪽이고 받는쪽이 CPU 처리량이 많아서 그쪽에서 병목이 걸리는 걸수도 있습니다.

jjjjjjj1 2024-07

감사합니다. cpu 이용율은 그리 안높은거 같은데 혹시 cpu클럭때문에 그러는걸 체크하는게 따로 있나요?

SiCMOS 2024-07

E5-2667 (샌디) 나 2650v4 (1.7GHz) 에서도 1링크로 10G는 나왔는데... 뭔가 문제가 있어 보입니다.

댕댕이 2024-07

그러게요.. 2630이라도 8코어면 10G 풀로 뽑을텐데요.
예전에 테스트 해보니까 싱글 성능이 딸리면 4 queses(4 스레드) 활용해야 10G 풀로 나오더라고요. CPU 이것저것 테스트 해봤는데 mtu 1500 기준

i3 4440 2코어 4스레드 9~10Gbps
G1850 2코어 2스레드 6~7Gbps
i5 2500 4코어 4스레드 9~10Gbps
j1900 4코어 4스레드 7~8Gbps
n3150 4코어 4스레드 8~9Gbps

점보프레임 쓰면 다 10G 뽑아주긴 하는데 스위치에 물려서 쓰긴 좀 그렇고
2630이면 못 해도 20기가 이상은 나올텐데 뭔가 구성에 문제가 있는 것 같습니다. 속도가 안 나오는 원인은 열가지가 넘어서.. 찾기가 쉽지 않습니다.
일단 점보프레임으로 한 번 테스트 해보시죠.

안철현 2024-07

파일 카피속도보다는 iperf3 테스트 결과를 알려주시면 네트워크 문제여부를 판단하기 쉽습니다.
네트워크단에서 문제가 없다고 판단되면, 그 다음에 스토리지관련 확인을 하시면 됩니다.

참고로 윈도우즈 탐색기로 파일 카피를 할때
네트워크 병목인 상황이면, 특정 속도에 딱 걸려서 더이상 속도가 안나오는 형태이고
디스크 병목이면, 속도가 출렁출렁 들쭉날쭉 나오거나, 캐시가 다되면 속도가 급격히 떨어지는 형태를 보입니다.

테스트할떄 iperf3 최근 버전 받아서 테스트하시구요
https://files.budman.pw/
구버전은 테스트할때 속도가 잘 안나오더군요.

그리고 보드 어떤 슬롯에 NIC어뎁터가 장착되어 있는지도 확인이 필요합니다
가능하면 CPU와 단독으로 직결된 16X / 9X 슬롯에 끼우는게 좋습니다.

jjjjjjj1 2024-07

직결 16x 에 연결하였습니다. iperf 결과 첨부하였습니다.감사합니다

제온프로 2024-07

QSFP+ 아닌가요 ?
10G 가 4개 입니다.
모든 조건을 만족할 때

Max 40Gbps 입니다.

jjjjjjj1 2024-07

감사합니다..ㅠ qsfp+ 입니다. 서버는 두대로 동일한 사양입니다 iperf 첨부하였습니다.

sbg2005 2024-07

Iperf3 실행중 보내는쪽, 받는쪽 CPU 사용량 한번 체크해보세요. Iperf는 디스크 성능과는 상관 없습니다.

아, 일단 허브 경유하지 말고 직결부터 해보시고요.

박문형 2024-07

혹시 40G 카드와 허브간의 케이블링은 어떤 방법으로 하셨는지요??

그리고 중간에 허브 거치치 말고 PC to PC로 iPerf 테스트도 해보세요..

허브의 모델을 모르기에 허브가 호환성이나 성능이 딸릴 가능성도 배제하지는 못합니다..

jjjjjjj1 2024-07

마지막 사진이 직결 연결해서 iperf 한거예요.cpu 이용율은 그리 안높은거 같은데 혹시 cpu클럭때문에 그러는걸 체크하는게 따로 있나요?
cpu 사용율은 iperf 서버나 클라나 비슷 했습니다.

dateno1 2024-07

스레드 옵션으로 분할 안 하면 40개 있는 스레드중 1개밖에 못 쓰니 2.5%밖에 못 씁니다

전체 사용율은 별 쓸모가 없어요

iperf 걸었을떄 송/수신 양쪽의 각 코어별 사용율 체크해보세요

만일 특정 코어가 사용율 저조 -> 만땅으로 변하면 그 코어 쓰는겁니다 (그리고 시퓨 성능땜에 그러는겁니다)

네트워크 관련된것들 상당 비율 멀티스레드 분할이 안 되므로 이런것 다룰 서버는 코어 개수보단 싱글 성능이 필요합니다

sbg2005 2024-07

CPU 단일스레드 성능 문제는 아닐거 같은게,

E5-2696v2 * 2 시스템에서 테스트 해봤을때 -P5~8 로 멀티스레드 주면 32Gbps 이상은 뽑아줬습니다.

V1이랑 V2랑 IPC가 막 50~70%씩 차이 나는것도 아니고,

CPU 단일스레드 성능 때문에 20Gbps정도면 모를까 5Gbps로 락 걸리는건 말이 안됩니다.

레인보우7 2024-07

혹시 모르니  CX-3 NIC 속성에 양쪽  MTU/JUMBO PACKET을 9014로 변경해서 iperf 테스트를 한번 해보세요.

이것도 아니면 HW(메인보드 Lane 분석 Block Diagram 확인필요) 어딘가에서 뒷목잡는 요인이 있어 보입니다.
하드한 방법으로는 PCIe Slot 위치바꿔가면서 전수테스해서  확인하는것도 방법입니다.
제 경험치로는 생각외로 성능이 안나왔던 슬롯도 있었습니다.

PCIe 카드 링크스피드 체크하는 예제를 올려드립니다.
리눅스에서는 간단한데 WINDOWS는 Powershell로 떼려 봐야되네요.
[리눅스]
# sudo lspci -d xxxx:xxxx -vvv | grep LnkSta:
                LnkSta: Speed 8GT/s (ok), Width x8 (ok)

Windows OS에서는 Link Speed를 확인하기 위해 "PowerShell"을 사용할 수 있습니다.
powershell
Get-NetAdapter | Select-Object Name, LinkSpeed
Get-WmiObject Win32_PnPEntity | Select-String -Pattern "PCI"

안철현 2024-07

혹시 모르니 펌웨어 업데이트도 해보세요..
현재 마지막 버전은 2_42_5000 입니다.
https://network.nvidia.com/support/firmware/connectx3ib/

TubeAmp 2024-07

ConnectX-5 2개의 카드를 직결해 100Gbps 네크워크 대역을 측정할 때 측정 시간에 따라 대역이 변화되는 문제를 저도 경험하여 문제를 해결해 보았습니다.
우선  리눅스 기준 sudo mlnxtune 명령어를 이용하여  PCIE 8레인 사용하는지 확인해야 합니다. 링크 레인이 8레인이 아니면 바이오스에서 8레인으로 설정해 주어야 합니다. 링크 스피드도  8GT/s 인지 확인하고 아니면 바이오스 설정해 주어야 합니다.
네트워크 대역은  iperf  혹은 iperf3 로 측정하기 보다는 ib_send_bw  명령어를 이용하여 측정하는 것이 더 나을 것 같습니다.

멜라녹스 카드가 정확한 최대 대역을 내기 위해서는 CPU c2 idle 상태를  아래 명령어를  이용해 disable 시켜 주어야 합니다. 아래는 코어 64개에 대해 명령어 입니다.
cpupower -c 0-63 idle-set -d 2

CPU governor를 performance 로 설정해야 합니다.
cpupower frequency-set -g performance

마지막은 CPU 주파수 부스터를 확인 해야 합니다.
cat /sys/devices/system/cpu/cpufreq/boost
off 인 경우 아래 명령어로 boost on 시켜 주어야 합니다.
root 권한으로 아래 명령어를 실행합니다. 아래는 AMD CPU의 경우입니다.
echo 1 > /sys/devices/system/cpu/cpufreq/boost
위의 설정을 해주었을 때 일정하게 100 Gbps 에 가까운 네크워크 대역이 나왔습니다.

AMD CPU 지만 아래 문서를 참고해 보세요.

https://www.amd.com/content/dam/amd/en/documents/epyc-technical-docs/tuning-guides/2018-amd-epyc-7001-tg-hpc-56420.pdf

안철현 2024-07

예전에 허접하게 전혀 튜닝안된 2세대 3세대 I5 CPU 달린 일반 PC 보드에서
CX354A-FCBT 2개 직결 테스트해도 25~28Gbps 정도 나왔습니다.
OS는 Windows 10, 측정도구는 iperf3 였구요.

그런데 이보다 훨씬 더 나은 시스템에서 5Gbps 정도에 머무리는 건
CPU 한계, 튜닝의 문제라기 보다는
다른 하드웨어 적인 문제를 의심해볼만 합니다.

윈도우즈 파워셸에서
Get-NetAdapterHardwareInfo 명령을 이용해서
네트워크 어뎁터의 PCI-E 링크 Speed와 링크 Width를 확인해보시구요. 

스위치 제거하고 1:1 직결로 테스트해보시고
그래도 안되면 어뎁터 변경 / 케이블 변경도 시도해보시구요.

jjjjjjj1 2024-07

우와 도와주신 덕분에 해결했습니다 루트포트 1,2-1,2-2,3중에 1이 레이드고 2-1 1기가4포트 랜슬롯이 달려 있었는데 그놈 제거 하니 정상으로 되었습니다 속도 38까지 나오네요 정말 감사합니다 ㅜㅜ

안철현 2024-07

축하드립니다. 38Gbps면 거의 네트워크단에서는  라인스피드 거의 다 뽑으시네요.

민호양 2024-07

와우!