안녕하세요!
Proxmox로 다양한 vm을 올리는데 한가지 고민이 있어 질문드립니다.
TrueNAS, pfsense, Ubuntu, Windows10등을 올리려고 합니다.
주 목적은 TrueNAS 운용 경험 쌓기 입니다.
TrueNAS에 HBA를 passthrough하여 하드들을 연결하여 사용중입니다.(proxmox에는 하드가 뜨지 않습니다)
Proxmox에 TrueNAS를 nfs로 마운트하여 nfs 볼륨에 Ubuntu, windows10을 설치하려고 합니다.
10G NIC가 3개 있습니다.
pci passthrough로 하나는 pfsense에 줘서 라우터로 쓰고 1개는 TrueNAS에 주고 나머지 하나는 VM과 proxmox에 주려고 합니다.
여기서 고민이 생깁니다.
"굳이 TrueNAS에 따로 NIC를 줘야 할까?"
"10G NIC 1개를 proxmox에 주고 TrueNAS와 다른 vm들이 bridge로 쓰면 어떨까?"
하지만 모든 vm들이 TrueNAS의 nfs로 마운트된 폴더에 설치되기 때문에 네트워크 속도가 따라주지 못하면 전체적인 시스템이 느려지지 안을까 걱정입니다.
제 지식이 짧아 linux bridge가 어떻게 동작하는지 모르겠지만 software적으로 동작한다면 NIC를 passthrough 하는거 보다 느리거나 충분한 performance가 안나오지 안을까 걱정됩니다.
혹시 하나의 서버에 NAS vm과 다른 VM들을 설치하고 VM을 NAS vm에 설치하여 운용해보신 경험이 있으시면 조언 부탁드립니다!
<정리>
proxmox에서 NIC를 bridge로 vm들에 공유할 경우 퍼포먼스가 어느정도 나올까요?
각 VM 에서 워크로드 건 상황에서 iperf3 등으로 측정해봐야 알 수 있겠죠.
사실 위에 시스템 구성에서 bridge 로 하거나 10G NIC 으로 바꿔서 돌려보는 것은 그리 복잡하거나 한 일이 아니기에
그냥 어느 쪽이든 편하게 구성한 담에 반대쪽으로 바꿔서 각각 돌려보면 될 것 같군요.
바꿔서 설정하는 것 어렵지 않습니다. 더군다나 운용 경험 쌓기가 목적이라면 둘 다 해 보심이..
(물론 제 경우는 충분한 호스트 CPU성능이 있기에 virtio 와 가상 브릿지를 쓰고 있습니다.)
호스트 cpu 성능이 괜찮아서 말씀해 주신 대로 테스트 해봐야 겠네요 ^^
감사합니다!
인터넷같은 외부에 통해야하는것과 NFS용을 각각 따로 추가후 NFS는 VM끼리 묶어주고, 외부 통신용은 NIC + VM 이렇게 묶어주세요 (NFS용은 내부에서 가상으로만 돌아가도 되니까요)
물른 10기가쯤 되면 통으로 묶어도 큰 문제는 안 생기겠지만, 대역폭을 나누어쓰는건 피할 수 없습니다)
위에도 적혀있듯이 딱히 구성 바꾸는게 어려운게 아니니 이것저것 시험해보세요
iperf3로 측정 결과 virtio NIC를 사용하면 양방향 동시 테스트 할 경우 업다운 비대칭이 심했습니다.(TrueNAS와 VM간에)
cpu가 e5-2660v4라서 딸리지 않을거라 생각했는데..
양방향 동시 테스트 하면 다운이 8Gbps정도, 업이 400Mbps정도 나오면서 비대칭이 심했습니다.
TrueNAS에 pcie passthrough로 NIC를 하나 주고 다른 1개로 bridge 만들어서 virtio NIC로 VM에 연결하니 업다운이 잘 나왔습니다.
즉 TrueNAS에 1개 VM들이 공유할거 1개 이렇게 사용중 입니다.
VM이 많지 않으면 이렇게 하는 것도 괜찮을거 같습니다.