리눅스에서 대용량 (500GB 이상) 디렉토리 복사시 어떤 방법이 가장 빠를까요?

iddqd   
   조회 852   추천 0    

 안녕하세요.

리눅스 머신에 물려있는 외장하드 1의 약 500GB 백업데이터를 외장하드 2로 복사하려고 합니다.

rsync를 이용하여 복사중인데 (-avh -P 옵션) 초기에는 복사속도가 빨랐지만,

24시간이 지난 지금 약 300GB 정도 밖에 복사가 되지 않았고, 데이터 전송속도가 1MB/s 이하로 매우 느려졌습니다.

버퍼 문제인지.. 대용량 복사시 rsync 특성인지 모르겠습니다.

아무래도 작업을 취소하고 다른 방법으로 복사하는게 좋지 않을까 싶은데..ㅠ

그냥 cp -a 사용하는 것이 좋을까요?

복사 프로그래스를 볼 수 있는 pv 라는 명령도 있던데 혹시 대용량 복사에 사용해보신 분이 계신지 모르겠습니다.


감사합니다.

짧은글 일수록 신중하게.
gowork 05-08
작은 파일이 많으면.. 압축해서 넘기는게 빠르지 않나요?
저도 소스 파일등 옮길때는 압축해서  cp 나 scp 로 날립니다..
     
iddqd 05-08
말씀처럼 작은 파일이 많습니다. 압축하고 압축해제하는 시간 고려해도 그것이 빠를지요?
          
제온프로 05-08
네....... 압축시간.. 해제시간 다 해도.. 이 방식이 빠릅니다..
하드들이 삽질 하는 시간을 줄여 버리죠..
정의석 05-08
작은 파일이 많다면 파티션 자체를 복사하는 방법이 빠를듯 합니다.
dd같은 명령어로 복사하면 될듯한데, 원본과 목적지의 디스크(파티션) 용량만 잘 고려하면 될듯 합니다.
압축해서 넘기는건 중간에 문제가 생겼을때 처리가 난감하기 때문에 조심해서 써야 됩니다.
지금의 문제는 파일의 크기가 작고+외장하드의 속도가 느린 두가지 문제가 동시에 있기 때문입니다.
아울러 둘 중 하나 이상의 디스크에 문제가 있을 수도 있습니다.
지금으로서는, 그냥 두시는게 제일 빠른 방법일 껍니다.
iddqd 05-08
답변들 감사드립니다. 역시 2CPU입니다.^^
rsync 작업을 취소하고, -z (압축), -W (delta-xfer algorithm 억제) 옵션을 추가 후 재싱크 했는데, 속도가 3~5MB/s로 조금은 더 빨라지긴 했습니다.
그냥 윈도우에서 SSD로 복사하고 다시 외장하드 2로 복사하는 것이 가장 빠른 길은 아니었나 싶습니다.
epowergate 05-08
rsync가 느린건 파일이 작어서도 있겠지만 file listing을 하는데 시간이 오래걸리는 겁니다.
득히 directory가 계층이 많으면 더 느립니다.

사실 정석은 tar 또는 cpio를 사용하는 겁니다.
파일 개수가 많고 파일이 작다면 rsync대비 cpio가 수십배는 빠를겁니다.
김우진 05-08
tar로 묶어서 큰 덩어리로 만들어 복사하면 빠르지 않을까요?
김중희 05-09
파일서버 옮기면서 써보니 tar를 사용하는게 제일 빠릅니다.




QnA
제목Page 85/4507
2015-12   12179   백메가
2014-04   2529382   회원K
06-10   744   풀로드l조성빈
06-10   952   이지포토
06-10   756   스무프
06-10   874   사식이
06-10   605   2cpumem
06-10   781   yummy
06-10   749   그린
06-10   556   조재현
06-10   764   강한구
06-10   513   성기사
06-10   582   매콤라이더
06-10   753   술이
06-10   622   이지포토
06-10   639   그린
06-10   644   김건우
06-09   730   이천풍
06-09   832   김건우
06-09   869   Nikon
06-09   890   susemi
06-09   1516   starname