김황중연일까진 아니고
이달 12일에 한번. 16에 한번. 어제밤에 한번
소리소문없이 아파치만 즉사를 해 버립니다.
물론 12일 이후부턴 idc에서 이 서버를 24시간동안 실시간으로 오픈된 포트를 모니터링중이고
패킷분석. 로그분석 심지어 mrtg 상황을 보아도 100kb미만인 서버라
영 답이 않나오네요.
아파치 로그도 죽는 시간대에서의 특별한 공통점도 없고
ssh포트도 막아버렸고
cpu나 램 점유율을 보아도 항상 밑바닥이고.....
단지 특이한건
죽을때는 서버 전체는 살아 있으나
딸랑 아파치만 죽는 허접한 경우가......
물론 mysql도 살아 있고요.
그와 더불어
이렇게 죽게되면
절대 httpd모듈이 먹통이 된다는 점입니다.
정지도 않되고.. 시작도 않되고... 재시작도 않되고..... 꼭 버퍼링 걸린것 처럼요
그러니 할수없이 서버를 재시작 하는 것이고요.
말씀드린대로
서버전체의 순간 트래픽 100kb미만의 서버인지라
굳이 시스템을 바로 엎기도 추후 대비를 위해 마루타가 되고 있는 상황이네요.
뭐 간단히 시스템 전체 복구 한다면
반나절이면 끝날 문제지만
나중을 위해 마루타를 할려니
전혀 어느부분부터 의심을 해 봐야 하는지를 알수없어 아직은 남감하네요.
저도 저 나름대로 분석중이지만
저로 인하여 고생 안해도될 idc 기술담당 직원분까지 고생을 하고 계시니 미안할 따름이네요.
혹시 이런 경우 격어 보신분 계시면 팁좀 주세요....^^
- by inoree.com -
아파치만 죽였다 다시 살려서 잘 살아나면 대부분 모듈문제입니다.
그럼 행 걸린거긴 한데
죽일수도 없고 죽여지지도 않고 그러니 당연히 재시작도 않되고.....
모듈 문젠 아니지 않나 생각해봅니다.
조언 감사드립니다.
제가 한 방법은
터미널 창에서의 정지 시작 재시작 등이 먹통이 되며
gui상에서의 시스템 관리자에서도 3가지 모두 먹통
시스템에서 해당 모듈만의 강제 종료가 않되네요.
아파치 잘못 설치해서 그래요.
서버의 lib과 아파치의 뭔가가 엉킨거에요.
해결 방법은 제대로 설치하는 것이외에는 없습니다.
그런 상황을 apache에서는 stuck in w 라고 합니다.
공부하다가와야 겠네요
감사합니다.
끝까지 다 읽어 보고 다 했었는데... 진정한 해결 방법은 재설치에요.
제대로.
apache치 등의 사이트에 나오는 정공 설치법으로 해야 합니다.
물론 이 서버 셋팅의 경우 지난 3월달에 살치 했는데
발생은 이번 9월부터 시작된건데
그래도 잘멋 설치된거고 재설치가 답인거겠죠?
거져 먹을려고해서 죄성합니다....
apache에서 쓰는 lib중에 몇개가 버젼이 엉켜서 그런거에요
c 관련된 부분인데 그게 좀 미묘 합니다.
가비에 엔지니어들이 그런 문제를 일으켜서, 이후에는 apm 제가 직접 합니다.
죄송합니다.
그렇다면.....
제가 가진 버전은 센트 5.8과 5.9입니다.
두 버전 모두 최종 업데이트 후엔 5.9가 되죠.
지금 에러나는 애는 5.9로 3월달에 설치한 아이 입니다.
센트 5버전을 사용하는 이유는 php버전이 5.2가 넘어가 버리면
웹 구동 프로그램아 호환 않되다보니
5.대로만 샬치해야 하는 상황이고요.
물론 재작년 말경에는 5.8로 설치후 지난 3월 교체전까진 아무런 이상 없었고
업데이트후 5.9가 되어 있더군요.
그렇다면 지금 가진 5.9로 설치 않하는게 답인거겠죠?
그리고 centos 6.4 설치하고 php만 5.2.x 설치하면 되요.
가능하면 최근 버젼으로.
영어공부후 검색후 설치하도록 하겠습니다.
오히려 그게 더 해결이 빠를수 있습니다. 아예 안되면 모를까 설정 제대로 되서 한번 돌아가면 아파치같은건 진짜 안죽습니다.
그리고 제대로 빌드됐는데 설정이나 프로세스에 문제가 생기는 경우는
예를들어 웹에서 회원메일이 안간다던가 그런식으로 나타나지 그렇게 인스턴스 자체가 죽는 경우는 거의 드물고요
IO쪽 페리티쪽 문제일 수도 있거든요
제가 지난 17일 서버에 프로그램 재설치후 하드웨어 교체작업 한다고하니
idc에서 절대 하드웨어 문제 아니라고 하더라고요.
그 이후... idc기술담당 직원분께서 같이 모니터링 중이싶니다.
어제도 졸린 목소리로 새벽 12시에......
방금 아파치만 죽었으니 재구동 시켜주시고
이메일로 로그파일 추출해서 보내주세요 하더라고요.
그러고보니 로그에서 io어쩌고 저쩌고를 본거 같은 기억이 나네요?
일단 그 상황이면 기계 한번 바꿔보셔야되요 원래 부품 절대 쓰지 말고 다른 기계로요
그럴땐 원래 순서가 그렇습니다.
그리고 이상 없으면 이상 생긴 기계에서 보드 전압은 제대로 나오는지, 드롭은 없는지
그리고 메모리나 하드같은거 부품들 꺼내서 하나씩 테스트해보고 이상 있는건 버리고 새로 껴서
OS빌드해서 한 일주일 테스트해보고 괜챦으면 원래 있던 랙에에 끼시면 됩니다.
오늘도 안형곤님께 dl360 g7 하드 5개 끼여서 1달간 무상임대해 드렸답니다.....^^;
근데 여기에 함정이.......
여가에 설치돤 시디가 현재 문제를 일으키는 5.9 시디로 설치했다는 저......엄
고기에 업데이트까지 완료해서 idc에 입고 했다는 저.....엄!!!!
띵.....^^;
나중에 저도 좀 부탁드릴때 문의드려야겠네요
미리 감사합니다~! ^^
그럼 전체적으로 재설치허고 장비 바꿔 봐야 겠네요.
답변주신 모든분들께 감사를 드립니다.
막 입고시킨 신규장비 델 R720에서 이런 일이 있었어요.
이후에는 HP DL120 G7, DL 160 G7 ... 에서도.
리눅스 lib이 좀 엉키는게 있어서 그런것 입니다.
이거는 CentOS 뿐만 아니라 대부분의 리눅스에서 공통현상이어요.
다음달엔 idc나 놀러 가야 겠네요
울 idc는 넘 추운데....흑흑
저는 그냥 메일로 os install 요청합니다...라고 보내고 끝.
설치할때 반드시 httpd.apache.org 의 원본 설치법을 따라야 이런 문제 안생깁니다.
그냥 돌아다니는 문서 보지말고 모두 원본대로 해야 해요.
앗... 중요한걸 빠뜨렸네요.
요 리눅스 서버가 가상서버에요.
즉 물리서버는 윈도우고 여기에 하이퍼브이로 리눅스 언져 놓은것.
물리서버엔 dns말곤 아무런 서비스도 안하고 방화벽 다 걸려 있고요.
그러다보니 굳이 물리서버는 재부팅 않하는 애라
ilo를 쓸 일이 없을것 같더라고여.
전 os설치 대신 각종 하이퍼브이 파일을 인스톨 다 해 셋팅한 파일들 주욱 있고
그러다보니 os재설치를 할 필요가 없는것아 장점인듯 하더라고요.
글고보니 ilo라이센스가 어드벤스긴 한데 섞히고 있었네요.
랜 선 하나 더 끼여 달라고 하면 돈 더 내라하니 참아야 할듯 싶네요....엉엉
어제 오늘 보다보니 보안쪽운 영..... 신경을 못쓰신듯 하던데....
제로보드 개조버전이라더 던져드려야 할려나요???
stuck 걸린거를 해킹이라 오해하고 엉뚱한 조치들을 여기저기 마구 한게 문제였죠.
그거 꺼꾸로 푸느라 조금 고생했습니다.
황중님 빌려주신 컴퓨터....
딱 그거 같네요..
짜장면 배달하는데 에쿠스 타고 배달하는 그런 기분? ^^
지금... 네임서버 변경 걸었습니다. ^^
저의 문제일으킨 서버는 간단히 reboot 명령어주면 3분만에 복귀되고
사람들이 아직은 거의 않오는 사이트인지라
아직은 원인 분석중인지라.....
전 그나마 아직은 걱정은 없는 편이라 아직은 슬슬 모니터랑만 하고 있어요.....^^
이제 복구 다 하셨나보죠?
네임서버 변경이시면...
그래도 하루만에 완전 복구되서 다행이에요.....^^
그나저나 짜장면 갑자기 이시간에 땅기네요.
자느라 저녁 않먹었는데
주문하면 저도 에쿠스타고 배달해 줄까요?
많이 안쌓였다면 상관없지만 2G이상 쌓였다면 영향을 줄수가 있습니다.
트래픽이 없어서 그렇게 않쌓였을 수도있겠지만요..
보통은 /var/log/httpd 에 쌓입니다.
log. log1. log2. log3. log4 대략 5종 정도 1개당 300메가 넘어가면 다음파일로 넘어가더라고요.?
혹사 모르니 어차피 백업도 다 받았으니 삭제해 보아야 겠네요
감사합니다.
httpd -t
하셔서 conf에 syntax 에러 없는지도 한번 확인해보시고요
패스안걸려 실행안된다면 Apache 의 bin 디렉토리가서 해보심됩니다.
상황발생시 zombie 프로세스가 생기는지도 확인해보세요
그리고 error_log및 가상호스트마다 있다면 각 호스트의 error_log를 열어보신다면
도움이될것 같습니다.
잠시후에 시도해보고
다시한번 전체 로그를 찬찬히 훌터봐야겠네요.
리눅스에 약하다보니
명령어를 몰랐는데 감사합니다.
다른 방법으로는 찾을 수 없어요.
http://httpd.apache.org/docs/2.4/mod/mod_status.html
어렵진 않습니다
yum 으로 배포되는 것이 완벽한 것은 아닙니다