stone92김경민pfsense 를 올려서 사용중인데 pfsense 가 자꾸 gateway와 통신을 못하는 문제가 발생하고 있습니다.
ESXi 호스트는 온보드 듀얼 랜카드를 사용중이며 한개는 WAN,다른 한개는 LAN 구간과 연결이 되어 있습니다.
모델은 Dell R420 에 broadcom 5720 듀얼랜 달려있습니다.
즉 WAN 과 연결된 vmnic0 에 vm 이 2개(gentoo,pfsense)가 물려있고 LAN에는 (pfsense,기타 vm들)이 연결되어 있습니다.
증상은 이렇습니다.
처음 pfsense 를 부팅하면 정상적으로 컨트롤이 되는데 일정 시간이 지나면 gateway와 통신을 못합니다.
물리적으로 분리된 서버(동일 subnet)에서 pfsense 까지 public ip로 ping 날려보면 정상 동작
물리적으로 분리된 서버에서 LAN 구간 IP 까지 ping 테스트 정상
외부 네트워크에서 gentoo vm 까지 ping 정상
외부 네트워크에서 pfsense vm 까지 ping 불가
NIC문제라면 gentoo vm도 연결이 안되어야 할텐데 그건 정상이고 pfsense와 gateway까지 연결이 disconnect가 됩니다.
서브넷에서 ssh 접속후 pfsense 의 wan interface 를 재시작 해주면 또 일정 시간 정상동작 하다가 gateway 와 통신불가
혹시 비슷한 문제를 경험하신 분 계실런지요?
ESXi 부터 VM까지 모두... MAC어드레스가 제대로 셋팅되어 있는지 보세요.
간혹 같은 네트웍에 맥어드레스가 존재하도록 셋팅되는 경우도 있습니다.
상단 라우터 로그를 좀 달라고 해봐야 될려나요?
이게 좀 웃긴게 WAN이 먹통이 되어 있다가도 서브넷에서 WAN IP로 ssh접속해서 gateway 까지 ping 한번 날려주거나 wan interface 재시작해주면 그때부터는 또 네트워크가 잘 됩니다.
WEB GUI도 접속이 잘 되구요...
Pfsense 에는 별 다른 로그도 안남아있구요.. 이것때문에 방화벽 올리려는 작업이 아주 골치아프게 되었습니다.
이런 경우는 arp 충돌이 일어나거나... 아니면 ESXi 의 네트워크 드라이버 버그거나 뭐 그런 상황이 의심이 되는데
이렇게 글로 물어보고 답하기 정말 어려운 상황으로 생각이 듭니다.
pfsense 에 로그도 안남고 답답해서 혹시나 해서 다시 스위치 설정을 확인해 봤습니다.
예전에 IDC의 다른 서버들이 뚫려서 arp spoofing 공격이 하도 많이 생겨서
현재 esxi 호스트가 물려있는 포트에 ARP Spoofing Prevention 옵션을 켜뒀는데 그걸 깜빡하고 있었네요..-.-;
전에는 물리적인 서버 한 대만 물려있어서 문제가 없다가 현재 그 포트로 vm이 2개 물려있으니
스위치에서는 arp spoofing 발생하는 것으로 인식이 된듯 싶습니다.
어쩐지 다른 방화벽os 올려도 계속 비슷한 문제가 생겨서 이상하다 했는데...
오래전에 설정해 둔것이라 미처 생각을 못하고 있었네요..
(저도 스위치를 많아 다뤄본것이 아니라...)
좋은 것 알려주셔서 감사드립니다.
네트워크 문제는 해결이 되어서 이제 로드밸런스 셋업하고 연결하면 대충 마무리 될 것 같습니다.
리눅스 기반의 방화벽들도 나름 괜찮은 것들이 많은데 결국은 pfsense를 선택했네요.