대용량 파일 센터간 전송 문의

푸뽀   
   조회 2095   추천 0    

 안녕하세요


물리적으로 떨어진 데이터 센터간 데이터 전송을 10TB 가량 해야 합니다.

- 폐쇄망으로 데이터 전송해야 해서 DAS 쓰는 방안, 디스크 연결해서 쓰고 빼서 옮기는 방안 등을 고려 중입니다.

- 안정적이고 빠르고 손이 덜 가는 방법이 어떤걸까요?


A 센터 1U Linux, SFF(2.5) 6 slot 남아있음, NIC 1Gbps, USB3 외 다른 인터페이스 없음

B 센터 1U Linux, SFF(2.5) 6 slot 남아있음, 폐쇄망,  NIC 1Gbps, USB3 외 다른 인터페이스 없음


- 외장하드:USB3 대역폭 자체는 5Gbps 이나, 디스크 하나는 속도가 안나옴

- 4bay DAS: USB3 이나 속도는 좀 잘 나오지 않을까 싶지만 자체 RAID 안정성에 믿음이 없음

- 디스크 슬롯에 8TB SSD 2개 연결 시: HW 적용하지 않고 LVM 으로 한 볼륨으로 쓰기만, 속도도 어느정도 나오고 안정성도 있으나 손이 많이 갈듯..

- HW RAID 적용: 타 장비의 RAID import가 확실히 될지 보장 안 됨 (동일 카드, 동일 펌웨어이긴 합니다만...)


영상 작업 하시는 분들이 대용량 데이터 어떻게 운반 하시는지 궁금합니다.
짧은글 일수록 신중하게.
트니아빠 2022-09
잘 동작하는 서버 건드리지 않는다는 원칙을 고려하면 nas를 이용한 복사가 무난하지 않을까요.. 한 쪽에 복사하는데 최소 1.2일 정도 걸리겠지만요
박문형 2022-09
1U 든 2U든 스토리지 서버 한대 만드셔서 그 서버를 데이터 들어 있는 서버와 같은 랙에 놓고 네트워크로 백업 받은 후 ( 용량과 시간이 되면 2차 3차 백업을 받고 )

그 서버를 통째로 빼내서 데이터를 넣을 서버가 있는 다른 데이터 센터로 옮긴 후 데이터 카피를 하는 것은 어떠신지요??

PC라도 하드 용량만 되면 가능합니다..

NAS 장비로도 가능하고요..

1G 네트웍이라도 로컬에서 데이터를 움직이는게 아무래도 편하죠..
제온프로 2022-09
10G 카드 설치 하고 NAS나 다른 서버로 전송하는 방법
USB 3.0 의 DAS를 이용 (이게 제일 편한 방법)
저라면.
***
HW RAID 적용: 타 장비의 RAID import가 확실히 될지 보장 안 됨 (동일 카드, 동일 펌웨어이긴 합니다만...)
이 방법을 하겠습니다.
김현린 2022-09
저라면 10g카드랑 nas 4베이쯤 되는걸로 이동 할것 같습니다.
시놀 4베이+디스크+10g 카드 정도면 되지 않을까 싶네요
10g카드가 이미 있다면 더더욱 좋구요.
10g 장착이 불가능 하다면 1g로 시간이 좀 걸려도 가능은 할거 같은데요
Revione 2022-09
오래걸려도 전통적인 ( 2금융권들 가방에 정기적으로 외장 챙겨서 가방에 잠그고 백업 갖고 나가던... ) 일반 외장하드가 가장 손이 덜 갈 것 같습니다.
아니면 물리적으로 레이드 호환이 된다는 가정하에 hw raid 적용하는게 빠르고 손 덜 갈 것 같네요.
김황중 2022-09
RDX.....^^
dateno1 2022-09
일단 NIC가 너무 느리고, 하나는 패쇄망이라 외부랑 연결도 안 되니까 외장 하드 2~3개 준비해서 동일한 사본 작성해서 옴기는게 젤 무난할꺼같네요

아무리 USB HDD가 느리다고해도 기가랜보단 빠릅니다
epowergate 2022-09
아무거나 빨리 시작 하시는게 제일 빨리 끝납니다
     
찬이 2022-09
+1
레인보우7 2022-09
자주 대용량 과부하 i/o를 하실경우 usb가 버텨날지 모르겠습니다.
리눅스에서 USB는 외장형 HDD랑  쓰기 속도는 한번 체크해보시고 사용하시는게 좋습니다.
가끔 HW마다 들쭉날쭉한 기대이하 쓰기성능이 나오는 경우가 있습니다.

PCI 확장슬롯이 남아 있으시면 그냥 25G Network 크로스넷으로 HW RAID 구성해서 NFS로 날리시는게 장기전에는 유리할듯합니다.
속도와 비용은 비례할것 같습니다.
찬이 2022-09
참고로 영상 옮기는건 외장하드 쓰더라구요.
(영상에 대해서는) 솔직히 그냥 NAS 올려놓고 받는게 나을텐데 굳이 사람이 가서 복사해오는게 답답해 보이긴 합니다..
1회라면 외장하드 쓰는게 제일 좋습니다. NAS 구축이고 서버 구축이고 그 시간에 외장하드 복사학 옵기는 제일 좋습니다...

=
아마존발 wd 14TB~16TB짜리 이지스토어/My book 당근에서 하나 사셔서.... 적당히 복사하셔도 될 것 같습니다.
푸뽀 2023-11
혹시나 어떻게 했는지 궁금해 하시는 분이 계실까봐.. 로컬에 디스크 붙이고 옮겼습니다.
1Gbps 네트워크 환경에선 디스크 물리적 이동하여 마운트하는게 더 빠르네요..!
윈도 동적 디스크로 두개 디스크를 스팬으로 묶었더니 다른 장비(윈도)도 가져오기가 되긴 되네요.


QnA
제목Page 484/5727
2014-05   5255231   정은준1
2015-12   1780144   백메가
2018-11   6580   야구감독
2016-08   5899   박현근
2020-01   2623   영산회상
2021-04   3198   audacity
2024-08   1517   2CPU최주희
2016-08   19391   RaspberryPi
2016-08   4227   luciddream
2022-12   1385   행복하세
2012-02   5626   데이비드
2022-12   2686   developer
2024-08   1444   JMX2
2014-03   4653   나너우리
2017-08   6880   미수맨
2018-11   2853   Artofalgori…
2022-12   3512   일론머스크
2021-05   2706   새내기
2023-01   3380   meviesta
2016-08   3810   신은왜
2021-05   4193   다이어트중
2016-08   3799   이해하면오…