haproxy 이전 문제

   조회 1748   추천 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다 


저희 회사에서는 haproxy를 통해 고객 요청에 대한 로드밸런싱을 하고 있습니다

이번에 haproxy를 이중화하기위해, haproxy + keepalived 조합으로 이중화를 구축했습니다

그래서 간단히 말씀드리면 기존 haproxy 1대가 있고, 별도로 이중화(2대로 구성)된 haproxy가 따로 있습니다 


실제로 수십개 고객사 정도의 요청은 DNS 주소를 다이렉트로 매핑하여, 

이 이중화 haproxy 쪽으로 가게 하고 있는데, 정상적으로 잘 동작하고 있습니다


기존 haproxy에서 이중화된 haproxy 쪽으로 넘기는 방법은 DNS에서 도메인에 매핑되는 공인 IP를

기존 haproxy IP에서 keepalived로 이중화된 haproxy의 가상IP(공인IP)로 넘기는 방법을 사용하고 있습니다

문제는 이렇게 넘겼을 때, 즉시는 아니지만 20-30분쯤 후부터 계속 서비스 페이지 접근이 됐다 안됐다하는 등

장애가 발생합니다


기존에 수십개 고객사 요청을 처리할 때는 잘 되더니, 한번에 갑자기 수천개의 요청이 몰려서 그런걸까요?

기존에 이중화된 haproxy를 타는 고객사들이 잘 되는거보면, 임계치와 관련된 문제인거 같은데

maxconn 등등 임계 관련된 값들은 다 체크해봤으나 그런 문제는 아닌거 같고, 

도저히 모르겠네요. 그리고 수만대의 프록시를 구해 DDOS를 때려서 테스트할 때는 문제 없다가

실제로 적용하니 장애가 나기도하고해서.. 실제와 동일한 환경으로 테스트가 가능한 방법이 있을까요? 에이전트 수천개가

실제 서비스를 이용하는 것처럼 테스트가 되어야해서요 

짧은글 일수록 신중하게.
술이 2024-04
동일한 경험 했구요 동접자 2-3천 되는 서버에 적용했다가 3달간 고생하고 haproxy 를 안쓰게된 사연이 있었습니다.

그런데 원인은 아주 간단한데 있었는데 그거 하나 때문에 아우...

나중에 원인찾았어요.
     
L2스위치 2024-04
오 원인이 어떤 것이셨을까요?
          
술이 2024-04
NLB 구성원들 상태체크 걸었을건데 헬스체크가 원인입니다. 포트고갈 되버리는 현상이죠. Agent 체크도 하면 안되요.
사용자가 적을땐 그 증상이 늦게 오는데 사용자가 많으면 사이트 문제되는 현상이 더 빨리옵니다.
               
L2스위치 2024-04
오......... 감사합니다 참고삼아 테스트를 해봐야겠습니다
근데 헬스체크가 정확히 어떤 옵션을 말씀하시는걸까요? Backend Status Check?
딱히 헬스체크 관련된 옵션 설정은 안보여서요
                    
술이 2024-04
상태체크하는게 헬스체크입니다. 전 pfsense 를 써서 메뉴 용어가 다르긴한데 haproxy 역시도 대충 비슷할겁니다.
                         
L2스위치 2024-04
그렇군요 흠 상태체크에 대한 설정도 backend express-servers default-server  check inter 3s fastinter 1500 downinter 10s 이거 말곤 없는데, 흠 어떤 설정이 문제인지 모르겠네요 ㅠ
     
epowergate 2024-04
동접자 2~3천를 HAProxy로 서비스 못한다는 것에 쪼금도 동의할 수 없네요
저희 스토리지에 동접자 30,000 정도로 1일 20시간 정도 서비스 중입니다.
2017년 9월부터 지금까지 2번 재시작 했습니다.
health check는 서버 뿐만 아니라 저희 스토리지 전용 check module까지 만들어 넣었습니다.

HAProxy 그 정도로 후지지 않습니다.
그렇다고 버그가 아주 없는 건 아닙니다.
          
L2스위치 2024-04
저도 추정적으로는 말씀에 동의합니다만, haproxy 이전 관련해서 뭐만하면 메모리가 계속 차고 오르네요.. 대체 뭐가 문제인지 모르겠ㅅ브니다..


QnA
제목Page 154/5724
2014-05   5234630   정은준1
2015-12   1760969   백메가
2024-04   1981   VSPress
2024-04   1929   민지파파
2024-04   1425   system32
2024-04   2079   alpha099
2024-04   2336   가빠로구나
2024-04   1944   가성비가좋다
2024-04   1154   헌터D
2024-04   1876   Xecus
2024-04   1404   미담
2024-04   2090   yummy
2024-04   1975   무쏘뿔처럼
2024-04   2257   써린이
2024-04   1598   빠끔살이
2024-04   1549   시도니
2024-04   2487   뭐든팔아요
2024-04   2139   회원
2024-04   1938   초보자에용
2024-04   1588   미담
2024-04   1423   중립기어오토
2024-04   1355   미담