쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
안녕하세요.
이래저래 해외서버(핀란드)에 있는 데이터를 국내로 전송하는 작업이 생겼습니다. 해당 서버는 1Gbps, Outbound 트래픽은 넉넉하며, 속도 테스트시 1Gbps를 충분히 감당합니다.
사실 가장 빠른건 하드를 배송하는건데, 그건 예산이 여의치 않고 데이터 소손 우려도 있어, sftp를 통해서 파일을 받는 중입니다.
분명 직결에 가까운 (host측의 iptable을 통한 라우팅) 연결인데, ssh 부터 뭔가 심각하게 느리다는 느낌이 들었고, 이게 시시각각 다릅니다. (아침과 저녁, 주말과 주중)
때마다 mtr을 날려보니, AS4766(KIXS-AS-KR) 대역의 ip에서부터 Loss가 대부분 20%, 적게는 10%, 많을 때는 57%까지 나오네요.. 그 뒤로 해당 서버까지는 twelve99.net의 hop이 엄청 겹쳐있긴 합니다.
나름 짱구를 굴려본다고 host에서 바로 국내 리전의 google cloud storage에 복제하고, 다운로드 받는게 당연히 빠른 것을 확인 했지만.. 일도 아니고 개인 작업이니 만큼 이것도 또 비용이라서 현재 방식에서 벗어나긴 힘들어 보입니다. (조금씩 자주 사용하더라도 무료 구간을 아득히 초과합니다)
벌써 머릿속에는 결국 비용 없이 해외 트래픽을 만족할 만큼 빠른 속도로 받는 방법은 없다는 답이 내려지긴 했습니다만, 혹시 국내로 들어오는 route 중 특정 ip 대역을 건너뛰는 방안이 가능한지, 그렇게 다른 route로의 연결 구현이 가능한지 궁금합니다. pfsense 사용중인데 단순히 block을 한다고 다른 루트를 찾을지 확신이 없어 아직 적용해보지는 않았습니다.
예전에 망 관리하는 분 이야기를 들었을떄
end user가 그 경로를 변경하는 방법은 없고
통신사를 바꾸면 해외 route 경로가 달라지는 경우가 있다고하네요. ( 통신사마다 해외망 연동이 다르기 때문에. )
CDN형태로 글로벌 분산 인프라를 제공하는 서비스라면
DNS 서버를 변경하면 바뀔 수도 있구요.
일본이나 싱가포르에 vm 띄우도 받아봐도 그쪽에서 나오는 route는 비슷한 것 같네요. 물론 조금 더 빠르긴 합니다.
감사합니다.
국내 통신사는 인터넷전용회선 관련 상품 외 가정용이나 준 가정용 오피스 상품 관련해서 협조를 해주는걸 보지 못했습니다.
경로 변경외, 해당 해외 서버에 bbr 알고리즘이 적용되어 있는지 확인해보시는 것도 좋을 것 같습니다.
현재는 bbr 알고리즘이 적용되어있지는 않은 것으로 보이네요. (/etc/sysctl.conf에 관련 파라미터가 올라가 있지 않네요)
일단 현재 받는 사이클 한 번 종료되면 테스트 해보겠습니다. 감사합니다.
출발지 또는 목적지 둘 중 한 쪽 또는 양 쪽에서 경로를 방화벽으로 차단한다고 해서 경로가 변경되거나 건너뛸 수도 없습니다.
2. 업무가 아닌 개인적인 일로 비용 지출을 최소화하고 싶으시다면 개인용 클라우드 저장소를 사용하는 것을 추천드립니다.
본문에서 물리적인 저장매체를 운송하는 방법을 고려해 보셨다는 것으로 보았을 때 다양한 전송 방법을 고려해볼 수 있을 것으로 생각합니다.
sftp 등 직접 연결을 통한 방법 또는 상용 클라우드 서비스를 이용하는 것보다는 개인용 클라우드 저장소를 사용하는 것이 비용 합리적입니다.
여러 국가에 서버를 두고 있는 개인용 클라우드 저장소 서비스(Google Drive, OneDrive 등)의 사용을 고려해 보실 것을 추천드립니다.
3. 급하신 일이 아니라면 손실분을 자동 복구(회복)하는 신뢰성 있는 프로토콜로 지속적으로 전송할 수 있습니다.
상황에 따라 다르기 때문에 제가 본문 내용만으로 프로토콜이나 소프트웨어를 추천하는 것은 어렵지만 손실된 내용을 자동 복구하는 신뢰성 있는 프로토콜이 많이 있습니다.
1번을 말씀드리고자 하는 게 제 댓글의 핵심이었고 나머지 2, 3번은 누구나 충분히 떠올려볼 수 있는 거긴 한데... 그냥 써봤습니다.
효율적인 방법으로 문제를 잘 해결해 보시면 좋겠습니다.
3의 경우, 원래는 netcat으로 zfs replication을 시행하려 했으나 워낙 느려서.. rclone을 이용해 sftp로 조금씩 받는 것으로 진행 중입니다..
알려주신 1번에 대해 확실하게 인지하였으니, 일단 작동하는 현재 방식을 유지하면서 조금 더 고민해보겠습니다. 상세한 설명 감사합니다.
두회선 갖고 있어서 각각 지연율 체크하고 빠른쪽으로 붙어서 잣업하곤 했엇습니다.
그리고 ftp나 sftp같은건 세션당 속도가 재한되는 경우가 있기에 동시에 4-5개 업다운 동작하도록 하는게 회선 풀속도로 쓰는 방법입니다.
작성해주신 글 보고 동시에 업다운 양을 바로 늘렸습니다. 전체 전송율은 확실히 오름세를 보이네요. 감사합니다.
답변 감사합니다
VPN통하면 해외망 속도가 잘나오는 경우가 종종 있습니다.
답글 감사합니다 :)