안녕하세요
고수님들의 고견을 기다리며 미리 감사드립니다
그리고 늘 그랬듯이 질문에 맞는 답변만 해주시길 부탁드립니다~!
우선 사내에서 로드밸런서로 haproxy를 사용하고 있습니다.
최근 dos 방어의 필요성이 있어, haproxy에 dos 방어 정책을 적용하였는데,
갑자기 메모리가 계속 올라서 서버가 결국 뻗어버렸습니다.
메모리는 4G 정도로 높지 않지만, 이제껏 수년동안 아무 이상 없이
잘 동작하던 서버였습니다.
심지어 elasticsearch metricbeat 로그를 보니 dos 방어 정책을
적용하기도 전날부터 메모리가 지속적으로 증가했더라고요?
그 시간대에 한거라곤 로깅 연동하느라, elasticsearch filebeat fields type을 좀 이리저리 변경해본게 다인데,
테스트 시에 그렇게 해봐도 메모리는 딱히 이상이 없고..
유사한 환경을 구성하려고 동일한 haproxy 구성에
proxy 5만대를 이용하여 ddos 공격도 해봤는데, haproxy dos 정책 설정을 변경해봐도
뭘 해봐도 장애 때처럼 메모리가 비정상적으로 증가하는 모습은 찾아볼 수가 없네요.
장애 났던 서버는 ubuntu 18.04입니다.
혹시 메모리가 갑자기 계속 증가하는 현상 관련해서 뭔가 아시는 분 있을까요?
최근 업데이트한 프로그램이 무엇인지, 혹은 최근 설정을 바꾸거나 추가한 기능이 무엇이 있는지 확인해보세요.
top 프로그램을 돌려서 계속 모니터링 해보면 어디서 메모리가 증가하는지 대략적으로 알수 있을겁니다.
원인을 잘 모르겠다면, 다른 컴퓨터에 우분투를 22.04 버전으로 바꿔서 똑같이 셋팅하고 돌려 보는것도 방법이 될수 있겠네요.