낮에 열심히 사무실에서 젋음을 불살르고 있었는데,(쉽게 말해서 땡땡이...)
이노바 T4사진도 찍고, 깜냥30M이라는 녀셕 사진도 찍고,
마킨스랑 이것 저것 장난도 쳐보고 하면서 어느새 저녁이 되었습니다.
그런데 갑자기 핸폰이 울리기 시작했습니다.
제가 개발을 담당하는 어느 서버에 문제가 생긴것이었습니다.
문제는 이렇습니다.
"오라클은 내렸다가 올릴려고 했는데, 디비파트는 내려가는 리스너가 내려가지 않는다" 라는 것이였습니다.
(오라클이라는 데이터베이스는 데이터를 관리하는 데이터베이스부분과 데이터베이스의 외부와의 접속을 담당하는 인터페이스로서 리스너라는 부분으로 나뉘어져 있습니다.)
"뭐 그런 별거 있냐? ps -ef | grep ora 나 ps -ef | grep lsnr 로 PID 찾아서 Kill 해라~"
라고 했습니다.
(PID는 프로세서이며, ps -ef 명령은 현재 전체 프로세스를 보여주면 grep ora는 그중 ora로 시작하는 프로그램만 보여줍니다. 유닉스 계열명령어입니다.)
"안됀다. 권한이 부족하다고 한다."
속으로 말로는 어렵겠구나, 생각하고, 출동하였습니다.
헉 정말 안되는 것이였습니다.
리스너를 다운시키는 lsnrctl stop도 실패하고,
lsnrctl start 도 실패하고,
kill도 실패하고, pkill도 실패하고 여러번 해봐도 실패하고 완전히 항복상태였습니다.
"이런경우는 드문데..." 하면서 "재시작만이 해결책"이라고 생각하였습니다.
하지만 저는 개발담당이라서 서비스가 돌아가는 서버의 재시작을 할수는 없습니다.
와 정말 아무리해봐도 안돼고, 오라클 기술문서를 뒤져봐도 안돼고,
오라클 기술지원팀에 문의해봐도 안되었습니다.
이제 정말 서버 재시작밖에 없겠다 싶어서
서버 재시작을 담당하는 하드웨어 및 운영체제 기술지원팀을 불렀습니다.
기술지원팀에게 상황설명을 해주었습니다.
"오라클을 내릴려고 하는데, 권한 부족에러가 나오는데,
루트도 권한 부족이고, 오라클 유저도 권한 부족인데,
대체 권한이 있는 유저는 누굽니까"
기술지원팀 "혹시 서버보안 솔류션도입하셨어요"
담당자가 "네"
저는 "헉 (그게 뭐야)"
알고보니 서버보안솔류션이라는 프로그램이 자체 설정된 컨피그레이션 설정에 따라서
특정 프로그램 및 화일, 명령어, 폴더, 시스템관련 부분에 대해서 따로 컨트롤하고 있는 솔류션이었습니다.
뭐랄까 방화벽을 뚫고 들어와서 root 권한을 획득했을 때는 대비(?)하는 이상한 사태에 대비하는 솔류션이었습니다.
ora_SIDXXXX 로 되어 있는 디비 자체의 프로세서 보다 리스너에 내릴 수 없는 권한을 걸어 놓은것이였습니다.
보안솔류션에서 해당 모드를 풀어서 사태는 순식간에 해결되었지만,
정말 이런것이 있구나 했습니다.
지나가면서 몇번 보았는데, 방화벽처럼 외부 접속이나 모니터링 프로그램으로 알았는데,
제대로 알아보지 않는 것이 큰 실수 였습니다.
저는 그렇다고 쳐도 담당자가 그 프로그램이 그런 역활을 하는지 몰랐다니... 정말 으항~
자세히 들여다가 보니
시스템에서 메모리를 담당하는 /var/tmp(시스템의 임시메모리를 담당합니다. 화일형식) 디렉토리 같은곳에 root 가 들어가도 ls, pwd, rm 도 못하는 웃기는 현상도 있고,
서버보안프로그램은 여러가지 동작모드로 그러한 제한을 role로 다루고 있었습니다.
맨날 사진만 찍다가 한번 당했군요....
밤중에 생쇼한 일이 였습니다.
짧은글 일수록 신중하게.