앤디캔디 07-24

2번이 보다 빠릅니다

정무현 07-24

압축은 압축하지 않고 그냥 패킹 (tar) 하는게 좋을까요?
아니면 보통 압축수준으로 압축하는게 좋을까요?

파일 종류들은 바이너리 ( pe, elf ) 들입니다,

박문형 07-24

압축하나 안하나 큰 차이는 없을 듯하지만 그래도 조금이라도 압축해서 넘기는게 나아 보입니다..

장비를 끌 수가 없는 상태이고 네트웍만 사용 가능한가 봅니다??

삐돌이슬픔이 07-24

Ssd 를  붙여서 복사

Ftp

압축 전송 해동

dateno1 07-24

저 용량이면 파일 300만개는 될껀데 안 묶고 전송하면 꽤 느릴꺼에요

다만 압축하는데 걸리는 시간도 고려해야하고, 압축율이 안 나오는 데이터라면 용량도 그닥 안 줄어들꺼니 압축율 0으로 묶으시는게 나아보이네요

tar이면 에러정정 안 되므로 rar같은 다른 에러정정이 어느정도 되는 포맷을 추천합니다

또한 1개로 묶는것보단 한 10개쯤으로 나누는게 나아보입니다

용량 300기가정도씩 폴더에 나누어서 담은후 압축율 0으로 압축해서 던지시는건 어떤지?

Noname1 07-24

파일개수가많아면 ssh 파이프라인으로 tar 묶으면서 업로드하는 방법이있으니다 이것이 빠릅니다

술이 07-25

FTP 유틸에 따라 다를건데 접속당 커넥션 여러개 붙이면 동시에 여러 커넥션으로 전송하면 빠릅니다. 1메가 이상 파일들이니 압축하는 시간도 오래걸리고 별도의 공간도 필요하기에 무의미 할겁니다. FTP 5-6개 동시 세션으로 보내면 네트워크 속도도 풀로 다 쓸거 같긴 합니다.

두번째로는 VPN 연결해서 SMB 압축기능을 사용하는겁니다. 스펙타클한 효과는 보이지 않지만 전체적인 용량과 시간으로 봤을때 어느정도는 효과는 보여줍니다. 텍스트기반 데이터들이면 10배 가까이 빠를수도 있는데 압축률에 도움안되는 데이터라면 그냥 아주 쬐금 그정도입니다.

꿀벌l최인혁 07-25

SSD를 떼다가 원본 장비에 로컬로 붙여서 전송하면
HDD 읽기 속도(종류에 따라 다르고, 시간이 갈수록 속도는 떨어지겠지만)를 단순히 220MB/s 이라고 하면
네트웍보다 2배 더 빠르게 복사할 수 있습니다.

네트웍으로 보낸다면 1Gbps 라인이므로 실속도 110MB/s 정도 예상 되는데요.
이미 앞에서 많은 분들이 설명 하셨지만
최대한 네트웍 대역폭을 다 땡겨 쓸 수 있는 방식(다중세션, 다중접속, 일정 크기 이상의 블록형성후 전송 등)으로 전송하는 것이 최선일 것입니다.
3TB 하드를 110MB/s 정도로 전송하면 단순계산해서 예상시간이 약 8시간 되겠네요.