안녕하세요.
원격지 백업 시스템을 구축하는 도중 문제가 발생하여 질문드립니다.
최근 A기관에서 B기관으로 백업 데이터를 복제하는 원격지 백업 시스템을 구축했습니다.
(참고로, 구축한 시스템은 EMC Avamar와 DataDomain이며 A, B기관 모두 구축된 상태입니다.)
그런데 Avamar의 백업 데이터는 원격지로 잘 넘어가는 반면
DataDomain의 백업 데이터는 원격지로 넘어가지질 않습니다.
EMC에 문의해보니 Source Avamar와 Destination DataDomain간 SSH, RPC 및 replication 서비스에 사용되는 포트 모두 허용해야 한다고 해서
A, B기관의 통신장비(방화벽, IPS)에 모두 해당 서비스와 포트 허용 설정을 해둔 상태입니다.
주요 증상은 다음과 같습니다.
1. replication 작업을 걸면 A기관의 Avamar에서 B기관의 DataDomain으로 ping이 나가지 않습니다. Unreachable이 뜨지 않고, 응답이 없습니다. 반면 A기관의 콘솔PC에서 B기관의 DataDomain으로 ping을 날리면 잘 날아갑니다. 작업을 취소한 후 얼마 정도 지나면 다시 ping이 잘 나갑니다.
2. replication 작업을 걸면 A기관의 Avamar에서 B기관의 DataDomain으로 SSH 연결이 되지 않습니다. putty로 SSH에 연결한 후 replication 작업을 걸면 응답없음 상태가 됩니다. 반면 A기관의 콘솔PC에서 B기관의 DataDomain으로 SSH 연결을 시도하면 잘 됩니다. 작업을 취소한 후 얼마 정도 지나면 다시 SSH 연결이 가능해집니다.
3. replication 작업을 건 후 B기관의 DataDomain에서 netstat 명령어를 실행하면 작업에 필요한 포트 상태가 ESTABLISHED로 나타납니다. 그런데 Send-Q 값이 줄어들지 않습니다. A기관의 Avamar에서도 현상이 똑같습니다.
4. 그런데 아주 낮은 확률로 replication 작업이 성공할 때도 있습니다. 수십 번 시도하여 한 번 꼴로 성공하는 것 같습니다...
5. A, B기관의 통신장비에서 발견된 차단로그는 없습니다.
네트워크 대역폭을 줄여보고, 이더넷 케이블도 교체해보고, 이더넷 포트도 바꿔봤지만 도통 해결이 되고 있지 않습니다.
EMC에 문의할 때마다 고객사의 네트워크 문제라고만 되풀이하고 있고요...
혹시 어느 부분을 추가로 봐야 할지 알려주시면 정말 감사드리겠습니다. (_ _)
A-B 간의 Ping test 를 하였을 때 장기간(1일 이상 몇일) 동안 적은 숫자로 핑이 안정화되어 동작을 하는지요??
그리고 A-B사이에 몇 번 라우터를 거치고 각 구간마다 네트워크 대역폭은 어떻게 되는지요??
A-B사이에 각 구간 중 각 구간별로 Ping test를 하였을때 Ping 값이 안좋은 구간이 따로 있는지요??
A-B 구간의 네트워크는 누가 책임을 지고 있습니까??
몇 번 라우터를 거치는지는... traceroute 명령어로 확인해보면 되는 걸까요? 15번 거치는 것 같습니다.
Source Avamar와 Destination Domain 양쪽 모두 대역폭을 10Mbps까지 설정해봤습니다.
A-B사이 각 구간별로 ping을 날려봤을 때 ping 값이 안 좋은 구간은 없었습니다.
A-B 구간 사이에 상위기관의 통신장비를 거치긴 하는데... 그러고보니 이쪽을 한번 알아봐야 할 것 같습니다 ㅜㅜ
전용선이 비싼 것은 이해 합니다만 10Mbps (비트퍼 초) 가 전용선 전체 대역폭은 아닐 듯합니다..
데이터 백업을 얼마만한 크기를 하는 것인지 모르지만 10Mbps 라면 일주일 이상 한달씩 백업 돌릴 수도 있겠네요..
옛날에 장난칠 때 100Mbps 가정용 인터넷 선으로 24시간 풀 업로드 하면 약 최대150GB 를 보낼수 있었던 것으로 기억합니다..
콘솔에서는 문제가 없다는 걸 보니 방화벽은 문제가 아닌 것 같고 avamar쪽 NIC, 지빅, 케이블, Switch 중 하나가 문제가 아닐까 싶습니다.
혹시... 기계실 들어가서 케이블 연결 포트 양쪽 GBIC을 다 한 번 뺐다 다시 끼우거나 포트를 다른 포트로 옮겨보시죠?
telnet 접속한 뒤에 응답이 전혀 없다면 거쳐가는 장비 중에 통신을 막는 장비가 반드시 있습니다. 통신 지점별로 하나하나 연결해서 찾아야 합니다.
telnet 쓰기 그렇다면 tcping, tcptraceroute이라고 tcp로 ping때리고 추적하는 툴이 있는데 이걸로 주소와 포트 지정해서 때려보시면 됩니다.
(제가 알기론 윈도우에는 없습니다. 리눅스에는 있습니다).
외부망에서 확인할때는 icmp로 날리는 ping, traceroute는 서버나 중간 장비에서 설정으로 막아버리는 경우가 많아서 믿을 만한게 못됩니다.
Source Avamar에서 Destination DataDomain 으로 원격지 백업 데이터 전송 시 RPC(원격 프로시저 호출) 프로토콜을 사용하는데
IPS에서 RPC를 공격으로 간주하여 차단시킨 것 같습니다.
(질문 올릴 땐 IPS에서 RPC를 허용했다고 글을 올렸었는데... 방화벽 쪽에만 RPC 111번 포트 허용만 설정되어 있었고, IPS엔 설정되어 있지 않았습니다... ㄷㄷ)
답변 달아주신 분들 정말 감사드립니다! (_ _)