리눅스 rsync 동기화

두리안   
   조회 5897   추천 0    

안녕하세요.

한국이랑 외국에 있는 서버랑 데이터동기화를 해야합니다...

한국에 있는 사용자가 A(한국위치)서버에 동영상을 올리고 A서버에 데이터를 B에 동기화시켜서

외국 사용자들은 B데이터서버에 접속하여 파일을 보게됩니다.

이게 하루에도 2-30개씩 불특정시간에 등록되기에

실시간동기화를 해야하는데요..


A서버의 위치는 각 LG오피스넷에 연결된 서버이고 한국 사용자용은 A에서 C(데이터센터내 서버) 서버로 동기화되서

접속되는데 A와 C는 금방 동기화되기에 문제가없습니다 . 문제는 B서버인데요 


B서버의 위치는 미국 시애틀에 위치하고있습니다. (VPS입니다)

이때, SOURCE파일은 약 250~350MB정도의 ZIP파일입니다. 


지금은 RSYNC로 CRON을 돌려서 약 2-3분에 한번씩 동기화를 하고있습니다. 이렇게 하는 이유는

한국에서 자료를 올리시는분의 대기시간을 줄이고자 하는 작업이구요...

근데 2-3분마다 CRON이 실행되다보니.. 만약 파일이 더 큰경우 동기화중에 다시 RSYNC가 실행되면서 다시 땡겨오고..

느려지고 악순환하다가 그걸 12시간동안 하니 트래픽폭탄맞을뻔한 적이 있습니다..

이럴경우 더 좋은방법이 없을지... 문의를 드립니다...;; 미국서버로 업로드 는 약 1M~2MB/S 정도 나옵니다..;; 
짧은글 일수록 신중하게.
박문형 2015-03
멀고 속도가 안나오기에 서비스하는 서버에 직접 동기화는 힘들어보입니다.

미국에 서버를 하나 더두고 (서비스하는 서버 옆) 그 서버에 자료를 계속 담아두고

서비스하는 서버는 일정시간이 되면 일정량을 중간서버에서 가져와 서비스하는것은 어떨까요?

일은 많아지지만 중간에 버퍼서버를 하나 두는 것이죠..


실재 해본건 아니고(하지도 못하고)
생각을 해본 것입니다.
아마데우쓰 2015-03
Dropbox 추천합니다~
cron 으로 rsync 를 할때에는 만약을 대비하여 (지금 그 만약에 걸리심) 먼저 rsync 가 벌써 구동하고 있는지를 확인 한후에 작업을 시작해야하지 않을까요?

그 rsync 가 로컬에 따로따로 있으면 더 쉽겠네요... 하지만 한국서버에서 심어주는 형식이면 rsync 중에 느린것만 따로 해주던지 아니면 그냥 그 느린것에 속도를 맞춰서 작업을 하던지 해야겠네요... 얼마나 time critical 한것인지는 몰라서...

하지만 오래전 제가 작업했던 프로젝트중 뉴욕주식시장데이터베이스를 쓰는 프로젝트가 있었는데 실제 DB 를 온라인으로 실시간 쓰지 않고 (메인프레임에 있는) 하루묵은 데이터를 썼었습니다... 저는 그게 좀 이해가 안가더라고요... 주식이 왔다갔다하는데... 하루에 한번씩 배치로 DB 를 Sync 한다는것이...
     
엠브리오 2015-03
강승훈님의 지적대로 간단하게 스크립트를 짜서 현재 rsync 가 돌고 있는지 확인하는 내용을 집어 넣으면 되겠습니다.

이미 rsync가 돌고 있으면 재구동하지 않도록 말이죠.
          
크론으로 돌릴때는 이방식이 정석입니다... 아마도 구글 하면 여러곳에 쌤플 스크립트도 많이 나올것입니다...

만약 못찾으시면 댓글 주세요... 제가 찾아 드리겠습니다...

cron rsync multi duplicate prevent 등등의 키워드를 이용하면 쉽게 나오지 않을까요?
지나가던개 2015-03
rsync로 파일을 보내게 되면, 전송이 완료될때 까지 임시 파일이 생깁니다(예:test.tar라면 .test.tar.xkNSvT 같이...)
원격지로 동기화 하기 전에, 위와 같이 원격지에 임시 파일이 있는지, 생성 시간은 어떻게 되는지 확인하고, 없거나 생성 시간이 아주 오래된 상태면 전송하게 하는건 어떨까 합니다.
정희섭 2015-03
inotify 를 이용하는 lsyncd 라는게 있다고 합니다.
써보진 못해서 뭐라고 말씀은 못드리겠네요.


QnA
제목Page 2893/5731
2015-12   1792993   백메가
2014-05   5267992   정은준1
2015-03   13136   최원시익
2015-03   3168   DaVinci
2015-03   11356   깨모
2015-03   3627   흑향
2015-03   4088   김건우
2015-03   4625   퓨리다
2015-03   4499   빠시온
2015-03   5948   후리지아
2015-03   5280   캡틴아메리카노
2015-03   6169   윈도우10
2015-03   4422   ADUS
2015-03   9294   씨형
2015-03   4832   NiteFlite9
2015-03   3504   겨울나무
2015-03   3679   윈도우10
2015-03   16786   2CPU최주희
2015-03   6380   istree
2015-03   4464   2CPU최주희
2015-03   5810   영산회상
2015-03   6490   안형곤