힘든 일이 있을때마다 2cpu에 문을 두드리고 있습니다.
경험 많은 분들의 고견을 들으며 항상 감사하게 생각하고 있습니다.
사내 웹서버가 몇 대 있는데 어디부터 어떻게 점검을 해봐야 할 지
감이 오지 않아 이렇게 문의를 드립니다.
A서버(가상화) -------- 1번 웹서버(공인IP)_NIC #1
-------- 2번 웹서버(사설IP)_NIC #2
-------- 3번 웹서버(사설IP)_NIC #2
-------- 4번 웹서버(사설IP)_NIC #2
B서버(단독) --------- 5번 웹서버(사설IP)
증상은 2, 3, 4, 5번 웹서버에서 일어납니다.
웹페이지 접속을 하려고 하면 바로 접속이 안되고 길게는 10초정도 빙글빙글 돌다가 페이지가 표시가 돼요.
한번 저렇게 접속을 하고 나면 그 다음부터는 쌩쌩 잘 되구요.
그러다가 다시 1시간~2시간 정도 접속을 안하다가 다시 접속을하면 또 5초~10초정도 딜레이 후에 접속이 됩니다.
1번 서버에서는 아직까지 한번도 이런 증상이 발생하지 않았구요.
참 많은 생각을 해봤어요..
방화벽이 문제인가? 방화벽도 내려보고
백신? 백신도 제거해보고..
NIC 포트가 문제인가? 랜카드도 교체해보고..
가상화가 문제인가? 그렇다면 물리서버는 왜 동일한 문제가 발생하지?
내 PC나 브라우저가 문제인가? 다른PC나 다른 브라우저에서도 동일한 증상이 발생하구요..
* PC나 브라우저 문제라고 보기가 참 어려운데 일반 다른 인터넷 사이트 접속시에는 이런 현상이 한번도 발생하지 않아요.
서버 리부팅 한번 해줄까? 해서 호스트/게스트 모두 리부팅 해줬는데 동일하고..
OS는 centos 5.x, centos 7.x, 윈7등 다양한 종류의 os가 올라가 있어서 딱히 os의 문제라고 하기도 어렵고..
그렇다고 네트워크 트래픽이나 cpu, ram, 디스크의 사용량이 높은것은 아닙니다.
서버가 거의 항상 아이들 상태니까요..(혹시 서버가 아이들 상태인것이 문제가 될까요?)
처음 접속할때만 항상 힘들어하고 첫 페이지가 한번 표시만 되면
그 다음부터는 딜레이 전혀 없이 바로바로 팍팍 뜨니 어디서 무얼 점검해봐야 할지 고민입니다.
마지막으로 해보려고 하는건 주말에 모든 네트워크 장비를 싹 다 껐다가 켜보고
그래도 동일한 문제가 발생하는지 해보려고 하는데요
위 상황에서 굳이 차이점을 두자면 1번서버는 공인IP를 물려줬고 2,3,4,5번 서버는 사설IP를 물려줬다는 점입니다.
사설IP를 할당한 서버의 접근속도가 훨씬 빨라야 하는데 오히려 그 반대니..
나름대로 많은 부분을 고민해봤고 해결하려고 했는데
계속 제자리만 빙빙 도는것 같아서 답답하네요.
어떤 부분을 어떻게 점검해보면 좋을지 의견 부탁드립니다.
리눅스 계열은 어떻게 확인하는것이 좋을까요?
사용자가 없는 주말 새벽 시간대에도 동일한 문제가 발생한다는 점인데요..
그래도 혹시 모르니 리붓 한번 해볼까 합니다.
2,3,4,5번 OS는 centos 5.x, centos 7.x, 윈7등 다양한 종류의 os를 사용중이에요.
잘 돌아가는 1번은 centos 5.x 사용중이구요
클라이언트에서 브라우저로 웹서버 접속할때 분석을 한번 해보세요.
httpwatch나 크롬의 확장플러긴으로 가능합니다.
어디쯤에서 느려지는지 체크해서 문제의 원인을 추정하는데 도움이 될 수 있습니다.
https://chrome.google.com/webstore/detail/live-http-headers/iaiioopjkcekapmldfgbebdclcnpgnlo
요건 아파치로 돌리고 있는 리눅스 웹서버
HTTP/1.1 404 Not Found
Connection: Keep-Alive
Content-Length: 240
Content-Type: text/html; charset=iso-8859-1
Date: Mon, 20 Apr 2015 02:09:39 GMT
Keep-Alive: timeout=5, max=98
Server: Apache/2.4.6 (CentOS) PHP/5.5.23
요건 iis로 돌리고 있는 윈도우 웹서버..
HTTP/1.1 404 Not Found
Content-Length: 1238
Content-Type: text/html
Date: Mon, 20 Apr 2015 02:06:40 GMT
Server: Microsoft-IIS/7.5
X-Powered-By: ASP.NET
뭐 현재 접속 상태는 양호합니다. ^^;; 빠릿빠릿 잘 뜨거든요 ㅠㅠ
일단 질문글에 있는 힌트만 본다면... 여러가지 가능성이 있을 수 있는데요...
'한번 접속을 하고 나면 1-2 시간동안은 문제가 없다.' <- 이부분만 보고 말씀드리면요,
제 생각에는 DNS나 ARP 캐시에 관련된 문제 같습니다.
문제를 확인하는 방법은 DNS나 ARP 캐시를 날리면서 접속을 반복해서 시도해보셨을 때 매번 동일한 딜레이가 발생하는지 확인하시면 됩니다.
문제를 해결하는 방법은... 글쎄요.
단순하게는 hostname 파일 설정이 잘못되어 있는 경우도 있을 수 있고,
가상서버들의 mac address가 동일하다거나.... 여러가지 원인이 있을 수가 있습니다.
네트워크 쪽만 본다면, ARP 요청/응답때문에 지연될 가능성도 있을것으로 보입니다.
가상화에 단일 포트 NIC를 사용하는 경우 Promiscuous Mode로 설정되어있지 않으면 통신이 되지않는 경우가 많습니다.
먼저 다중 포트 NIC를 사용하시구요, 포트별 Metric(혹은 라우팅) 설정을 잘 하시면 지연없이 접속이 될 것 같습니다.
그리고 Wireshark를 이용하여 요청/응답 구간을 잘 보시면 어느구간에서 지연이 발생했는지 파악할 수 있습니다.
그냥 참고만해주세요 ^^
tcpdump와 wireshark를 활용해봐야 겠습니다.
다중포트 NIC를 사용하고 있으니 라우팅 설정도 한번 봐야겠구요(전에 봤는데 사실 문제가 없었..ㅠ)
한달도 넘게 고생했는데 강희환님의 댓글에 힌트를 얻어 조치를 취하니 해결이 된듯?보입니다.
우선 하루정도는 지켜봐야겠네요. ^^