쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
환경 :
서버1 : 레노버 SR630, XEON 8173M, 램384GB, NVME 3.84TB, Intel X710, ESXi 7.0.3, 21424296
서버2 : DELL 7920 , XEON 8163, 램256GB, NVME 3.84TB, Intel X710, ESXi 7.0.3, 21424296
시스코 CBS250-24T-4X에 DAC로 연결했습니다.
각 esxi에 설치된 윈도우10, FreeBSD14, 우분투22 에서 iperf로 테스트해봤는데요,
os별로 iperf 테스트결과 모두 3.5~3.9G 까지밖에 안나옵니다.
윈도우는 더 낮아서 2G 안팎이구요.
-P 7 정도 옵션을 줘야 9Gbps 나옵니다.
vcenter에서 esxi간에 vm을 1개 복사할때는 1~2G 나오고, 여러개의 복사를 동시에 걸어놓으면 6G 정도 나옵니다.
개선할 수 있는 방법이 있을까요?
어디서 속도가 안나오는지 확인하려면 몇가지 과정을 거쳐야 될 것 같습니다.
1. OS이슈
ESXi 내의 VM 을 통해 속도측정을 하신 것으로 보이는데,
ESXi 말고 별도의 장치를 통해 Linux 나 윈도우 네이티브로 임시로 띄운 다음
두 장비간 iperf 의 속도가 얼마나 나오는지
측정하는 방법도 있을 것 같습니다.
이 경우에 변화가 있다면, ESXi 내 S/W 관련 이슈가 되겠네요.
없다면 다음 항목 2번으로..
2. 스위치 이슈 혹은 케이블 이슈
DAC 케이블로 서버1 - 스위치 - 서버2 로 연결된 구간에서 각 구간이 DAC 으로 연결된 것으로 보이는데,
DAC 케이블로 서버1 - 서버2 다이렉트로 연결 후 두 장비간 속도 측정하는 방법도 있을 것 같습니다.
이 경우 변화가 있다면 스위치 이슈,
없다면 케이블 이슈(케이블 한번 바꿔보시고)
없다면 마지막으로 3번..
3. X710 펌웨어 버전업데이트
최근 개인적으로 X710-DA4 마련해서 펌웨어 업데이트를 해 보니, 9.80 까지 버전이 나와 있습니다..
현재 사용하시는 카드 펌웨어 버전 확인 후 업데이트 해보시는 방법도 있을 것 같고요.
여기까지 체크되셨으면 네이티브OS 에서 장비 대 장비 직결, 펌웨어 업데이트 까지 완료된 상태에서
확인하시는 겁니다.
도출된 결론은 이렇습니다.
1. 랜카드와,스위치,DAC케이블에는 문제가 없다.
2. OS(드라이버포함)에 문제가 있는데, 우분투와 esxi는 문제가 없고, 윈도우와 FreeBSD에 문제가 있다.
3,랜카드펌업을 통해 윈도우와 BSD에서의 문제해결을 기대해본다.
사실 VM간 통신은 1~2G만 나와도 무리없는 상황이라 괜찮습니다.
다만 VM 이동시 속도가 아쉽습니다.
esxi간 대역폭은 충분한걸로 확인됐고, SSD의 성능이 궁금해 벤치를 돌려봤더니 쓰기 3.2GB가 나오네요.
아무래도 캐시빨인듯하여 찾아보니 마이크론 7300의 벤치결과 쓰기성능이 1.9GB입니다.
어쨌든 10G트래픽을 받아주기에는 넉넉해보이죠.
esxi간에 VM복사테스트해보면 1개복사할때는 1G 조금 넘고, 여러개 같이 복사해야 3G 정도 씁니다.
다시 테스트 해봤는데 여전하네요.
이것만 개선되면 좋겠는데 말이죠.
지금은 서버를 내릴수 없으니 언젠가 날잡고 랜카드 펌업한번 해봐야겠습니다.
추가적으로 VM 내 속도 차이라면, 네트웍 어댑터에 따라서 퍼포먼스 이슈가 있다고 하는데 이것도 한번 확인해보세요
네트웍 어댑터가 E1000E 혹은 VMXNET3 등이 있는데, VMWare 사에서는 VMXNET3 을 권한다고 합니다.
어댑터 차이인지도 한번 확인해 보세요..
(참고블로그 https://sddc.tistory.com/27 )
NIC구성을 한개는 E1000, 다른한개는 VMX3로 했는데, 졸다가 잘못클릭했나봐요.
덕분에 내장된 iperf3를 알게되어 새로 테스트해봤습니다.
랜카드는 인텔X710-2, 우분투22.04LTS, FreeBSD14.0, 윈도우10PRO 환경입니다.
물리머신은 모두 3대, ESXi7.0U2 두대와 윈도우깔린 PC 입니다.
스위치는 Cisco CB250, DAC케이블로 연결했어요.
esxi -> esxi : 9.3G
esxi -> VM 우분투 : 9.3G
esxi -> VM BSD : 3.7G
esxi -> PM 윈도우 : 2.9G
VM 우분투 -> esxi : 9.3G
VM 우분투 -> VM 우분투 : 9.3G
VM 우분투 -> VM BSD : 3.9G
VM 우분투 -> PM 윈도우 : 3G
VM 우분투 -> VM 윈도우 : 5.1G
VM BSD -> esxi : 9.3G
VM BSD -> VM 우분투 : 9.3G
VM BSD -> VM BSD : 3.8G
VM BSD -> PM 윈도우 : 2.9G
VM BSD -> VM 윈도우 : 4G
PM 윈도우 -> esxi : 3.3G
PM 윈도우 -> VM 우분투 : 4G
PM 윈도우 -> VM BSD : 1.1G
PM 윈도우 -> VM 윈도우 : 2.6G
까먹지 않게 명령어도 적어둡니다.
1. 테스트전 설정 해제
localcli system secpolicy domain list | grep appDom
localcli system secpolicy domain set -n appDom -l disabled
esxcli network firewall set --enabled false
2. 테스트 진행
/usr/lib/vmware/vsan/bin/iperf3 -s -B 10.0.0.11
/usr/lib/vmware/vsan/bin/iperf3 -n 20G -c 10.0.0.11
3. 완료 후 원복
localcli system secpolicy domain set -n appDom -l enforcing
esxcli network firewall set --enabled true