회원K오늘도 새벽 5시에 IDC에 있는 서버 1대에 500mbps가 넘는 트래픽이 짧게 걸렸습니다.
그것으로 인한 서버 down이나 그런 것은 없었고, 해당서버는 다른 서버와 연결없이 1대로 서비스를 하고 있습니다.
apache에서 과하게 뭔 짓을 한것도 아니고,
ftp나 ssh로 엄청난 접속을 하려고 한 것도 아닌데...
원인을 어디서 찾아야 할까요?
얼마전 스위치를 1/100에서 1/1000으로 바꾼 이후에 매일 1대씩 돌아가면서 생기는 일인데,
스위치의 문제일까요?
- to be continue -
서버모니터링중이시라면 들어간 트래픽이 어느서버로부터인지도 확인해보시구요,
해당시간대 크론웍들, 아파치로그, messages, maillog들 뒤져보면 일단 가닥이 좀 잡히지않을까싶습니다.
서버에서 해결안되면 트래픽 튀는시간에 패킷잡아서 분석해봐야지요.
그냥 통상적인 수준의 트래픽 입니다.
하루에 1대씩 새벽 5시에... 그러네요.
방화벽을 구축하시던지 해야 할 듯합니다.
아니면 스윗치를 100매가 L3로 내려야죠
외부 문제일수도 있어 보입니다.
간단한게..... 한놈이 dos치는거 아닐까요?
근데...ddos라고 보기에도 1G이하면 어닌거 같기도 하고....
요즘은 ddos도 프로그럄으로 간단히 때려줄수 있으니 문제네요.
이에 대한 대비책은 ip냐 사이트냐...
뭘로 잡혀서 치고 있는지가 문제지만
ip라면....
사이트 도메인 이라면...
만일 이것이라면
해결책은 알고계시듯이 간단하지만
두 경우 만이 답이며 후자가 아니길 바라면
후자라면 시간만이 답으로 보이네요.
동일 사이트에서 계속 생기는 거라면
문제 일으키는 외부놈을 찾아서 역으로 공격해주세요...^^
저도 ddos문제로 하루에 20-30G씩 꾸준히 3일 동안 쳐주니
idc에서 연락오고
7일 지나닌까 idc에서 나가라고 하더라고요
그것도 하루만에......
물론 그간 서버 다운은 없었고
스위치와 백본에 부하 무지 걸렸겠죠.
이전후 나중에 원인 찾아보니
전 ip로 친 경우라 이전후 50G까지 버텨 주기로 하고 들갔는데
문제가 지금까지도 전혀 없는......
idc도 라인 좋은데를 써야 하는 이윤거 같아요.
이놈의 인터넷도 복불복인거 같습니다.
물론 나쁜 짓해서 보복 당하는 경우만 빼고요...^^;
방화벽은당연하고 IPS나 DDOS장비들이 있을껍니다.
해당 트레픽이 IDC내부에서 외부로의 통신때문에 생긴거라면 장비에 기록이 남습니다.
로그를 확인해보시는게 좋을듯 하네요. 요즘 방화벽이라면 특정시간의 트래픽이 어디서 어디로 발생되었는지 기록이 남아있습니다. IPS도 폼은 아니니 분석 요청하시구요.
만약 해당 장비들에 이상 징후가 안보인다면 내부에서 트레픽이 발생한건데요.....
몇일만이라도 스니퍼로 패킷을 떠보시는게 해결책을 줄수 있겠습니다.
내부에서 트래픽이 발생할거는 전혀 없는 장비라
일단 스위치 설정 체크 요청했습니다.
ddos외에도 여러가지 공격이 있을수도 있습니다.
장비에선 정상적으로 보이는것도 이상패킷이 있을수 있습니다.
그래서 해당 장비들의 log분석이 중요한것이지요.
일반적으로 종단워크그룹 스위치에서 설정된것은 서버와의 링크속도와 이중성밖엔 설정된것이 없습니다.
붙어있는 스위치가 L7이나 이중화를 위한 L4가 아닌이상 스위치 설정이상으로 저런 결과가 나올수는 없습니다.
(설령 특수한 상황에서 L4나 L7일지라도 이런 상황의 가능성은 희박하구요)
IDC에서 L7을 쓸일도 없고... 서버가 다수가 아니라면 L4도 아니겠지요
이런문제는 해당 시간에 발생된 패킷이 어디와 통신이 된건지 찾는수밖엔없습니다.
진짜 어느곳과 통신이 되어 페킷이 발생한건지 아니면 다른 이유로 허위 패킷이 발생한건지 말입니다.
모든 가능성을 열어두고 보세요.
이건 아닐꺼야 하고 확인도 안하고 배제하시면 못찾습니다.
해주시는 이야기들에 따라서 체크 요청을 하고 있습니다.
직접적인 스위치의 확인이나 조치는 불가능한 상황이구요.
관리권을 넘겨주면 손을 떼겠다고 하시는거라...
장비의 설정을 체크요청했는데, 추가로 log 분석도 요청하겠습니다.
managed 스위치의 경우에는 장비에 log가 남아 있을 수 있네요.
장비는 시스코 L2 managed 스위치로 알고 있습니다.
munin-node agent 를 서버마다 설치하고, 한곳에 munin을 설치해서 모니터링을 합니다.
그중 network 부분을 한데 모아 따로 한페이지에서 볼 수 있게 해두고 심심할때마다 열어보면서 이상 트래픽이 없나 봅니다.
그리고, 권한없는 스위치라니, IDC에 스위치의 snmp community 아이디 하나 발급요청하시고, mrtg 분석툴을 설치해서 추가적으로 모니터링 하는것도 고려해보시면 좋을듯 합니다.
사용자에게 관리 권한을 넘겨주는 경우... IDC에서는 더는 손을 안댄다고 하더라구요.
그동안 별다른 일이 없어서, 특별한 네트웍 모니터링 tool은 설치를 안해뒀습니다.
이 모니터링 툴은 다른 툴들 보다 쓰기 쉽고 결과가 보기 편합니다.
소스설치를 해야 하는데... 이게 참 난감합니다.
설명서가 있는 것과 다르네요.
일단 rpm forge 나 epel 정도는 추가해두시는게 좋습니다.
서버는 munin 설치하고 apache 설정하시고
클라이언트는 munin-node 만 설치하고 host allow 만 해두시면 됩니다.
방화벽 쓰시면 4949포트 열어두심 되고 플러그인 하나씩 링크 걸어서 해보시면 종합관리가 되실겁니다
좀 난감한데... 찬찬히 해봐야죠.
3rd 파티에는 있는데. epel에는 없습니다.
트래픽의 출처를 못찾아서 tcp dump를 뜨기로 했습니다. 조언 감사드립니다.
Package Arch Version Repository Size
===========================================================================================================================================
Reinstalling:
munin-node noarch 2.0.16-1.el6 epel 401 k
Transaction Summary
===========================================================================================================================================
Reinstall 1 Package(s)
EPEL 에 있더군요. 에이전트로 munin-node 설치하면 됩니다
IDC에서 심은 뭔가가 문제를 만든 듯 합니다.