오늘 제 웹서버가 이상증세를 보이면서 서버가 죽는 사건이 발생했습니다.
netstat -anp | grep EST | wc -l 라는 명령어로 평소에 지켜보곤 하는데, 보통 300개이하로 보이고,
ps aux | grep httpd | wc -l 라는 명령어로도 보는데요, 피크시간에도 보통 300개를 잘 넘지 않습니다.
서버가 이상증세를 보이면서 죽기진전 ssh접속상에서 남긴 마지막 기록은,
netstat EST 기록은 140에 ps aux ~~ httpd | wc -l은 967개였습니다.
원인을 알기 위해 서버 정보가 필요할텐데, 관련있어 보이는건 죄다 적겠습니다.
추측이 되는 부분이 있으면 댓글좀 부탁드립니다.
E6550, 2G 메모리, 250G 하드에, 호스트웨이 IDC, Apache 2.2.3< rewrite,deflate,expires,cband > / PHP 5.1.6 / Mysql 5.0.22 / Zend Optimizer v3.3.0 / eAccelerator v0.9.5
<IfModule mpm_prefork_module>
StartServers 15
MinSpareServers 30
MaxSpareServers 50
MaxClients 1024
MaxRequestsPerChild 1000
</IfModule>
timeout 2
keepalive on
maxkeepaliverequests 500
keepalivetimeout 5
사이트 일 방문자수는 약 16000명입니다. 서버사고시점의 동접수는 평소 300선입니다.
당시 w 명령어로 본 5분 평균 로드률은 106를 가르켰습니다.
메모리 2G를 다 소비해서 하드스왑을 쓰고 있었습니다.
짧은글 일수록 신중하게.