해외 트래픽의 route 변경 가능 여부

kyile   
   조회 1543   추천 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다 

안녕하세요.

이래저래 해외서버(핀란드)에 있는 데이터를 국내로 전송하는 작업이 생겼습니다. 해당 서버는 1Gbps, Outbound 트래픽은 넉넉하며, 속도 테스트시 1Gbps를 충분히 감당합니다.

사실 가장 빠른건 하드를 배송하는건데, 그건 예산이 여의치 않고 데이터 소손 우려도 있어, sftp를 통해서 파일을 받는 중입니다.

분명 직결에 가까운 (host측의 iptable을 통한 라우팅) 연결인데, ssh 부터 뭔가 심각하게 느리다는 느낌이 들었고, 이게 시시각각 다릅니다. (아침과 저녁, 주말과 주중)

때마다 mtr을 날려보니, AS4766(KIXS-AS-KR) 대역의 ip에서부터 Loss가 대부분 20%, 적게는 10%, 많을 때는 57%까지 나오네요.. 그 뒤로 해당 서버까지는 twelve99.net의 hop이 엄청 겹쳐있긴 합니다.

나름 짱구를 굴려본다고 host에서 바로 국내 리전의 google cloud storage에 복제하고, 다운로드 받는게 당연히 빠른 것을 확인 했지만.. 일도 아니고 개인 작업이니 만큼 이것도 또 비용이라서 현재 방식에서 벗어나긴 힘들어 보입니다. (조금씩 자주 사용하더라도 무료 구간을 아득히 초과합니다)

벌써 머릿속에는 결국 비용 없이 해외 트래픽을 만족할 만큼 빠른 속도로 받는 방법은 없다는 답이 내려지긴 했습니다만, 혹시 국내로 들어오는 route 중 특정 ip 대역을 건너뛰는 방안이 가능한지, 그렇게 다른 route로의 연결 구현이 가능한지 궁금합니다. pfsense 사용중인데 단순히 block을 한다고 다른 루트를 찾을지 확신이 없어 아직 적용해보지는 않았습니다.

짧은글 일수록 신중하게.
안철현 2024-06
잘은 모르지만
예전에 망 관리하는 분 이야기를 들었을떄
end user가 그 경로를 변경하는 방법은 없고
통신사를 바꾸면 해외 route 경로가 달라지는 경우가 있다고하네요. ( 통신사마다 해외망 연동이 다르기 때문에. )

CDN형태로 글로벌 분산 인프라를 제공하는 서비스라면
DNS 서버를 변경하면 바뀔 수도 있구요.
     
kyile 2024-06
그쪽에서 백본에만 연결 되었지, 글로벌 CDN은 지원하지 않고 있다고 하네요.
일본이나 싱가포르에 vm 띄우도 받아봐도 그쪽에서 나오는 route는 비슷한 것 같네요. 물론 조금 더 빠르긴 합니다.
감사합니다.
패킷스트림 2024-06
해당 해외 서버 업체 측에 인아웃 바운드 경로를 조정해달라고 요청해보시는게 더 빠르실 것 같습니다.

국내 통신사는 인터넷전용회선 관련 상품 외 가정용이나 준 가정용 오피스 상품 관련해서 협조를 해주는걸 보지 못했습니다.

경로 변경외, 해당 해외 서버에 bbr 알고리즘이 적용되어 있는지 확인해보시는 것도 좋을 것 같습니다.
     
kyile 2024-06
해당 서버가 베어메탈이라 직접 커널에서 작업하면 될 것 같기는 합니다.
현재는 bbr 알고리즘이 적용되어있지는 않은 것으로 보이네요. (/etc/sysctl.conf에 관련 파라미터가 올라가 있지 않네요)
일단 현재 받는 사이클 한 번 종료되면 테스트 해보겠습니다. 감사합니다.
유동훈 2024-06
1. 해외 → 국내 간 연결 시 경유하는 경로를 임의로 건너뛸 수 없습니다.
출발지 또는 목적지 둘 중 한 쪽 또는 양 쪽에서 경로를 방화벽으로 차단한다고 해서 경로가 변경되거나 건너뛸 수도 없습니다.

2. 업무가 아닌 개인적인 일로 비용 지출을 최소화하고 싶으시다면 개인용 클라우드 저장소를 사용하는 것을 추천드립니다.
본문에서 물리적인 저장매체를 운송하는 방법을 고려해 보셨다는 것으로 보았을 때 다양한 전송 방법을 고려해볼 수 있을 것으로 생각합니다.
sftp 등 직접 연결을 통한 방법 또는 상용 클라우드 서비스를 이용하는 것보다는 개인용 클라우드 저장소를 사용하는 것이 비용 합리적입니다.
여러 국가에 서버를 두고 있는 개인용 클라우드 저장소 서비스(Google Drive, OneDrive 등)의 사용을 고려해 보실 것을 추천드립니다.

3. 급하신 일이 아니라면 손실분을 자동 복구(회복)하는 신뢰성 있는 프로토콜로 지속적으로 전송할 수 있습니다.
상황에 따라 다르기 때문에 제가 본문 내용만으로 프로토콜이나 소프트웨어를 추천하는 것은 어렵지만 손실된 내용을 자동 복구하는 신뢰성 있는 프로토콜이 많이 있습니다.


1번을 말씀드리고자 하는 게 제 댓글의 핵심이었고 나머지 2, 3번은 누구나 충분히 떠올려볼 수 있는 거긴 한데... 그냥 써봤습니다.
효율적인 방법으로 문제를 잘 해결해 보시면 좋겠습니다.
     
kyile 2024-06
2의 경우도 고려하고있던 옵션 중 하나입니다. 해당 host에서 전송할 데이터가 300TB정도인데, 사실 Google Drive 무제한 용량이 끝나고, 해당 데이터들을 백업해 둔 샤드? 중 하나입니다. 당시에 Drive API 이용해서 다운로드 받는데도 limit가 매우 자주 걸렸어서.. 고민입니다.
3의 경우, 원래는 netcat으로 zfs replication을 시행하려 했으나 워낙 느려서.. rclone을 이용해 sftp로 조금씩 받는 것으로 진행 중입니다..
알려주신 1번에 대해 확실하게 인지하였으니, 일단 작동하는 현재 방식을 유지하면서 조금 더 고민해보겠습니다. 상세한 설명 감사합니다.
술이 2024-06
통신사마다 해외속도 다 달라요. KT가 제일 빠른데 어떤데는 유풀러스가 빨라요. SK는 해외는 최악이라는 소문이...
두회선 갖고 있어서 각각 지연율 체크하고 빠른쪽으로 붙어서 잣업하곤 했엇습니다.
그리고 ftp나 sftp같은건 세션당 속도가 재한되는 경우가 있기에 동시에 4-5개 업다운 동작하도록 하는게 회선 풀속도로 쓰는 방법입니다.
     
kyile 2024-06
감사합니다. 통신사별 해외속도 차이는 인지하고 있기는 했지만, 바로 테스트해 볼 곳이 마땅치 않네요. 친구에게 부탁해서 mtr 어떤지 살펴봐 달라고 물어봤습니다.
작성해주신 글 보고 동시에 업다운 양을 바로 늘렸습니다. 전체 전송율은 확실히 오름세를 보이네요. 감사합니다.
검은콩 2024-06
구글 드라이브 1tb짜리를 1달짜리 구매하는 게 베스트일거같은데요
     
kyile 2024-06
그게.. 한 300TB 되는데, 이걸 1달 안에 받기가 ㅎㅎ 최대한 가난하게? 해결해보려다 보니 답도 안나오는 일을 벌인 것 같습니다 ㅎㅎ
답변 감사합니다
귀찮으시면 그냥 노드VPN같은것도 함 테스트해 보시는건 어떠신가요?
VPN통하면 해외망 속도가 잘나오는 경우가 종종 있습니다.
     
kyile 2024-06
VPN이 장점이 있지만 우회를 해서 느릴 것이라고 생각만 했지 체크를 하지 않았네요. 한 번 체크해 보겠습니다. 답변 감사합니다.
민호양 2024-06
Cloudflare R2 같은 서비스에 300TB를 잠깐 맡기고 받아오면, 딱 한번 저장하는 비용만 내지 않을까 싶습니다. 500만원? CF는 egress비용이 없으니까 빠르지 않을까요? 취미비용으로는 좀 나가네요.
     
kyile 2024-06
네 저도 egress 무료라는걸 보고R2도 후보군에는 있었습니다만.. multipart로 왔다갔다 하면 operation이 붙어서 꽤나 들 수도 있겠다 싶었습니다. ㅎㅎ
답글 감사합니다 :)


QnA
제목Page 102/5708
2015-12   1673646   백메가
2014-05   5139148   정은준1
2024-06   1381   siper
2024-06   1737   신은왜
2024-06   1727   승리의샌디…
2024-06   1764   Star755
2024-06   1288   이매망량2
2024-06   1114   승리의샌디…
2024-06   1233   박문형
2024-06   1218   TubeAmp
2024-06   1544   kyile
2024-06   2137   comdosa
2024-06   1368   chotws
2024-06   1521   화란
2024-06   1614   ocm10gr2
2024-06   1587   yummy
2024-06   2521   신우섭
2024-06   2097   아마데우쓰
2024-06   2091   블루영상
2024-06   1714   블루모션
2024-06   1707   신우섭
2024-06   1695   haniy