쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
안녕하세요 멜라 connectx3 속도 질문드리려고 합니다.
항상 도움받고 있음에 미리 감사드립니다.
허브는 40기가 2포트에 2.5기가 24포트허브이고
서버는 2630*2 64g nvme3 2t 와 Lsi 3108 JBOD 에 ssd 2t *3 윈도우 스트라이프 입니다.
데이터의 안전성은 크게 중요하지는 않아서 raid0으로 했구요
40기가를 물려서 iperf3 로 테스트를 해도 최대 5기가를 못 넘기고
디스크의 병목을 감안한다고 해도 10프로 정도 사용한다는게 ㅠ.ㅠ
원인이 멀까요?.ㅠㅜ
제이장
예전에 테스트 해보니까 싱글 성능이 딸리면 4 queses(4 스레드) 활용해야 10G 풀로 나오더라고요. CPU 이것저것 테스트 해봤는데 mtu 1500 기준
i3 4440 2코어 4스레드 9~10Gbps
G1850 2코어 2스레드 6~7Gbps
i5 2500 4코어 4스레드 9~10Gbps
j1900 4코어 4스레드 7~8Gbps
n3150 4코어 4스레드 8~9Gbps
점보프레임 쓰면 다 10G 뽑아주긴 하는데 스위치에 물려서 쓰긴 좀 그렇고
2630이면 못 해도 20기가 이상은 나올텐데 뭔가 구성에 문제가 있는 것 같습니다. 속도가 안 나오는 원인은 열가지가 넘어서.. 찾기가 쉽지 않습니다.
일단 점보프레임으로 한 번 테스트 해보시죠.
네트워크단에서 문제가 없다고 판단되면, 그 다음에 스토리지관련 확인을 하시면 됩니다.
참고로 윈도우즈 탐색기로 파일 카피를 할때
네트워크 병목인 상황이면, 특정 속도에 딱 걸려서 더이상 속도가 안나오는 형태이고
디스크 병목이면, 속도가 출렁출렁 들쭉날쭉 나오거나, 캐시가 다되면 속도가 급격히 떨어지는 형태를 보입니다.
테스트할떄 iperf3 최근 버전 받아서 테스트하시구요
https://files.budman.pw/
구버전은 테스트할때 속도가 잘 안나오더군요.
그리고 보드 어떤 슬롯에 NIC어뎁터가 장착되어 있는지도 확인이 필요합니다
가능하면 CPU와 단독으로 직결된 16X / 9X 슬롯에 끼우는게 좋습니다.
10G 가 4개 입니다.
모든 조건을 만족할 때
Max 40Gbps 입니다.
아, 일단 허브 경유하지 말고 직결부터 해보시고요.
그리고 중간에 허브 거치치 말고 PC to PC로 iPerf 테스트도 해보세요..
허브의 모델을 모르기에 허브가 호환성이나 성능이 딸릴 가능성도 배제하지는 못합니다..
cpu 사용율은 iperf 서버나 클라나 비슷 했습니다.
전체 사용율은 별 쓸모가 없어요
iperf 걸었을떄 송/수신 양쪽의 각 코어별 사용율 체크해보세요
만일 특정 코어가 사용율 저조 -> 만땅으로 변하면 그 코어 쓰는겁니다 (그리고 시퓨 성능땜에 그러는겁니다)
네트워크 관련된것들 상당 비율 멀티스레드 분할이 안 되므로 이런것 다룰 서버는 코어 개수보단 싱글 성능이 필요합니다
E5-2696v2 * 2 시스템에서 테스트 해봤을때 -P5~8 로 멀티스레드 주면 32Gbps 이상은 뽑아줬습니다.
V1이랑 V2랑 IPC가 막 50~70%씩 차이 나는것도 아니고,
CPU 단일스레드 성능 때문에 20Gbps정도면 모를까 5Gbps로 락 걸리는건 말이 안됩니다.
이것도 아니면 HW(메인보드 Lane 분석 Block Diagram 확인필요) 어딘가에서 뒷목잡는 요인이 있어 보입니다.
하드한 방법으로는 PCIe Slot 위치바꿔가면서 전수테스해서 확인하는것도 방법입니다.
제 경험치로는 생각외로 성능이 안나왔던 슬롯도 있었습니다.
PCIe 카드 링크스피드 체크하는 예제를 올려드립니다.
리눅스에서는 간단한데 WINDOWS는 Powershell로 떼려 봐야되네요.
[리눅스]
# sudo lspci -d xxxx:xxxx -vvv | grep LnkSta:
LnkSta: Speed 8GT/s (ok), Width x8 (ok)
Windows OS에서는 Link Speed를 확인하기 위해 "PowerShell"을 사용할 수 있습니다.
powershell
Get-NetAdapter | Select-Object Name, LinkSpeed
Get-WmiObject Win32_PnPEntity | Select-String -Pattern "PCI"
현재 마지막 버전은 2_42_5000 입니다.
https://network.nvidia.com/support/firmware/connectx3ib/
우선 리눅스 기준 sudo mlnxtune 명령어를 이용하여 PCIE 8레인 사용하는지 확인해야 합니다. 링크 레인이 8레인이 아니면 바이오스에서 8레인으로 설정해 주어야 합니다. 링크 스피드도 8GT/s 인지 확인하고 아니면 바이오스 설정해 주어야 합니다.
네트워크 대역은 iperf 혹은 iperf3 로 측정하기 보다는 ib_send_bw 명령어를 이용하여 측정하는 것이 더 나을 것 같습니다.
멜라녹스 카드가 정확한 최대 대역을 내기 위해서는 CPU c2 idle 상태를 아래 명령어를 이용해 disable 시켜 주어야 합니다. 아래는 코어 64개에 대해 명령어 입니다.
cpupower -c 0-63 idle-set -d 2
CPU governor를 performance 로 설정해야 합니다.
cpupower frequency-set -g performance
마지막은 CPU 주파수 부스터를 확인 해야 합니다.
cat /sys/devices/system/cpu/cpufreq/boost
off 인 경우 아래 명령어로 boost on 시켜 주어야 합니다.
root 권한으로 아래 명령어를 실행합니다. 아래는 AMD CPU의 경우입니다.
echo 1 > /sys/devices/system/cpu/cpufreq/boost
위의 설정을 해주었을 때 일정하게 100 Gbps 에 가까운 네크워크 대역이 나왔습니다.
AMD CPU 지만 아래 문서를 참고해 보세요.
https://www.amd.com/content/dam/amd/en/documents/epyc-technical-docs/tuning-guides/2018-amd-epyc-7001-tg-hpc-56420.pdf
CX354A-FCBT 2개 직결 테스트해도 25~28Gbps 정도 나왔습니다.
OS는 Windows 10, 측정도구는 iperf3 였구요.
그런데 이보다 훨씬 더 나은 시스템에서 5Gbps 정도에 머무리는 건
CPU 한계, 튜닝의 문제라기 보다는
다른 하드웨어 적인 문제를 의심해볼만 합니다.
윈도우즈 파워셸에서
Get-NetAdapterHardwareInfo 명령을 이용해서
네트워크 어뎁터의 PCI-E 링크 Speed와 링크 Width를 확인해보시구요.
스위치 제거하고 1:1 직결로 테스트해보시고
그래도 안되면 어뎁터 변경 / 케이블 변경도 시도해보시구요.