원글 : https://www.2cpu.co.kr/QnA/849997#c_850058 (네트워크 속도 (vmware (Pfsense) + 10GBPS 직결))
1. 구성
1) Vmware esxi 7.0 U3
2) DELL OEM 브로드컴 BCM957810S 10기가 듀얼포트 RJ45 랜카드 ( 브로드컴 57810S )
- https://www.2cpu.co.kr/sell/454636?&sfl=wr_name%2C1&stx=%BE%C8%C3%B6%C7%F6&sop=and&page=2
3) 네트워크
- Pfsense OS - VLAN 4095
- 미들웨어 - VLAN 10
- DB - VLAN 20
- WIN - VLAN 30
- 데스크탑 Vmware HOST와 직결 10gbps - VLAN 40
2. 테스트 방법
VLAN 40 → VLAN 10 으로 통신시 다운로드 / 업로드 100MB/s 약 1.2gbps 발생. (SFTP)
VLAN 30 → VLAN 10 으로 통신시 다운로드 / 업로드 100MB/s 약 1.2gbps 발생. (SFTP)
IPERF3 으로 Vmware Pfsense 와 Vmware 미들웨어 테스트시 약 1.5gbps ~ 2 gbps
3. 동일 구성하고 있는 2CPU 회원분께서 테스트 하였을 때에는 아래와 같이 결과 발생.
maronet 님께서 시간내주시어, 테스트 결과 공유해주셨습니다. 같은 호스트, pfsense, 서로 다른 vlan 상태에서 기본 파이어월 룰셋만 설정하고 테스트했더니 비슷한 성능이 나옵니다. hardware checksum을 disable하면 10% 정도 성능은 더 나오기는 합니다만, 1.1gbps와 1.2gbps 차이라 유의미한 것 같지는 않구요. 뭔가 다른 부분을 튜닝할 곳을 찾아봐야할 것 같습니다. 다른 분들 많이 말씀하시는 네트워크 카드 문제는 99% 아닐겁니다. 같은 호스트에서 전송하면 NIC을 거치지 않거든요.
같은 호스트, pfsense, 서로 다른 vlan 상태에서 기본 파이어월 룰셋만 설정하고 테스트했더니 비슷한 성능이 나옵니다. hardware checksum을 disable하면 10% 정도 성능은 더 나오기는 합니다만, 1.1gbps와 1.2gbps 차이라 유의미한 것 같지는 않구요. 뭔가 다른 부분을 튜닝할 곳을 찾아봐야할 것 같습니다. 다른 분들 많이 말씀하시는 네트워크 카드 문제는 99% 아닐겁니다. 같은 호스트에서 전송하면 NIC을 거치지 않거든요.
주말에 VLAN 빼고 NIC 기반으로 한번 해보려구요.
vmware Host에서 VLAN 설정한 가상포트그룹을 만든다음,
vmware 노드들 + pfsense에 해당 VLAN 카드를 물렸습니다~!~
왠지 이게 문제 인것 같기도하네용 ..
pfsense를 외부방화벽+NAT 용도로만 쓰고, VLAN과 라우팅은 vyos 같은거로 바꾸는 것도 방법일 것 같습니다. vyos도 해봐야 알기는 하겠지만요
좀 있다 pfsense 커널 파라미터 좀 더 바꿔볼까 합니다.
멀티스트림(iperf3 -P 5 -t60)으로 하면 vCPU 8개 주고 5.7~6.5gbps 정도 나옵니다. <- CPU usage 80% 정도 나옵니다.
/boot/loader.conf에 아래 내용 추가. vmx.0. , vmx.1. 이 부분은 pfsense nic을 의미합니다. 갯수 조정하시면 되고요.
net.isr.maxthreads = -1
net.isr.bindthreads = 1
hw.pci.honor_msi_blacklist = 0
hw.ibrs_disable = 1
dev.vmx.0.iflib.override_ntxds="0,4096"
dev.vmx.0.iflib.override_nrxds="0,2048,0"
dev.vmx.1.iflib.override_ntxds="0,4096"
dev.vmx.1.iflib.override_nrxds="0,2048,0"
system > advanced > networking 페이지에서 Hardware Checksum Offloading, Hardware TCP Segmentation Offloading, Hardware Large Receive Offloading 항목 체크
system > advanced > Miscellaneous 페이지에서 Kernel PTI 체크
그 동안 테스트결과 vmxnet3 사용하면서, pfsense 거치면서 단일 스트림으로 10gbps 성능 내는 것은 불가능해 보입니다.
(최신+고속 CPU 사용하면 2~3gbps 사이는 가능해 보이기는 합니다.)
회원님 ..요런 커널 파라미터 등의 튜닝은 어떻게 찾게 되신건가요 ?
약소하게나마 보답드리고 싶은데 .연락처 쪽지로 주시면 좋겠습니다!
네트워크쪽으로 들어가는게 나을 것 같아서 pfsense vmxnet3 vlan to vlan speed slow 이러다가
마지막은 pfsense vmxnet3 performance 이 정도 검색한 것 같아요.
그 중에 나온 페이지들 뒤적이다보면 대략 가는 페이지가 뻔해지더라구요. pfsense 본진보다 opnsense쪽이 자료가 몇개 있더라고요. 저도 영어가 짧아서 그냥 생각나는 기술용어만 조합해서 던진거죠.
offloading 설정은 원래 알고 있던 항목인디, 저거 다 꺼야 성능 잘나오는건 이번에 테스트해본 것이구요. 뭐 대략 그렇습니다.
보답은 무신 ㅋ 나중에 저 코딩하다 물어볼거 있음 알려주세요 ㅋㅋ
뭐 암튼 한VM이 몇gbps 이상 꼭 필요하다면 대안을 찾으셔야할 것 같고,
그렇지 않고 여러명이 1gbps씩 10gbps를 골고루 잘 활용하면 된다 싶으면 저 정도 설정하고 쓰시면 될 것 같아요.
어쨋거나 pfsense가 방화벽 룰 세팅하긴 ui가 있어서 좀 편하니까요.