안녕하세요.
데이터 저장때문에 좀 알아보고 있는데...개념이나 이분야에 대해 부족하다보니
글을 봐도 이해가 잘 안가는 부분이 있다보니 어디까지 다시 찾아야할지 몰라서 질문을 드리게 되었습니다.
일단 제가 찾고자(원하는) 부분을 먼저 말씀드리면,
어떤 프로그램에서 생산된 다수의 파일이 하루에 10기가 정도 됩니다. 일년에 4테라정도...(그외 다른 것 포함시 20~30테라일때도)
몇년간의 자료인 많은 용량을 저장하다보니 일반 하드로는 감당이 안되고, 우선 사용이 불편합니다.
스토리지 서버를 1000만원 단위로 구축하는것도 감당이 안되는 부분도 있고요.
그래서 많은 비용이 아니다면 지불을 하고서라도 무제한(큰) 용량의 스토리지, 클라우드 등 모든 가능한 방법 내에서 있을까요?
찾다보니 외국에 아래와 같은게 있더라구요. https://infinityfree.net/ (기능은 첨부한 그림파일 참조)
문제는 너무 속도가 느린것 같네요.
- 필요한 기능
1. 많은 용량 저장
2. ftp같은 기능 지원(리눅스에서 필요시 다운받아서 사용)
3. 스토리지 저장 장치내에서 웹을 통해 자료를 실시간으로 다운받을 수 있으면 더 좋고요.(필수는 아님)
즉, 대용량의 자료를 장기간 안정적으로 보관하면서 필요시 다운받고 사용할 수 있는 방법 중 최선의 방법이 있을까요?
아니면 기존대로 하드로 저장하고 필요시 연결해서 쓰는게 최선인가요?
(교수님들 자기 만든 연구 데이터 웹하드에 절대 안올리죠.)
보안이 불필요한 데이터라면 웹하드에 돈주고 올리는 수 밖에 없습니다..
(웹하드도 데이터를 망실하는 경우가 있습니다.)
백업용도로 사용하시면 나중에 피눈물을 흘리는 것들입니다.
운영하는 실상을 알고나면 겁이나서 못쓰는 것들도 많습니다.
장애나면 어떻게 대응하는지.. 자료를 백업이나 하는지도 모르는 서비스가 대부분입니다.
느린건 당연하구요.. (개인적인 생각으로는 말리고 싶습니다.)
싸고 좋은 서비스는 없다고 보시면됩니다.
1년에 20~30테라 자료가 나온다면, 예산을 세워서 정상적인 방법으로 진행하는게 제일 좋습니다.
몇천되는 스토리지가 괜히 있는게 아닙니다. 다 그만한 가치를 하거든요.
하지만, 비용이 부담된다면 DAS 장비로 4TB*5EA (Raid5 구성하면 대략 16TB 정도되겠네요.)
정도로 구성해서 사용하시는게 제일 좋을 것 같습니다.
http://prod.danawa.com/info/?pcode=3954892&cate=1131824
이런것도 쓸만합니다.
Linux 플렛폼이면 s3cmd 나 aws cli 인터페이스를 사용하면 데이터 밀어넣는 부분도 큰 이슈가 없을 것으로 보이고, 3 replica 셋 지정하고, Region 간 Replica 걸어놓으면 말씀하시는 데이터 유실의 가능성도 크게 낮출 수 있을 것으로 보입니다.
(물론 접근 ACL을 잘 설정해야, 안전한 데이터 라이프가 가능합니다)
트래픽 비용만 (Outbound) 잘 계산하시면 목적하는 용도에 맞을 것으로 보입니다.
https://calculator.s3.amazonaws.com/index.html
읽고 쓰기는 반복하지 않는다면 일반 하드 용량 큰 하드를 사용해도
크게 부담은 없을 것 같습니다. 요사이 4테라 짜리 하드 많이 나오구
이곳 장터에서 36베이 서버 보았습니다. 잘 구성하시면
될 것도 같습니다만 향후 4~5년동안 혹은 그 이상 계속 매년 20테라씩
나온다면 뾰족한 수 없어 보입니다.
36베이 서버 지금도 장터에 있기는 합니다.
지금 4대인가 남아 있는데 한번 외치시는 것도 .... "아도" 라고.. ㅎㅎㅎ
아니면 윗분 말씀처럼 36베이짜리로 한방에 질러버려도 되죠.
그런데 단순히 데이터 저장용이고 지속적으로 꾸준히 늘어나는거라면 서버도 그에 맞춰서 꾸준히 늘려나가는게 맞다고 생각합니다.
그리고 클라우드서비스는 찾기 어려우실게... 실제로 계산해보시면 클라우드는 고용량대역에서는 용량대비 가격이 어마어마합니다.
게다가 월별로 계속 나가는 요금이라 무시할게 못되더라구여. 차라리 직접 스토리지서버를 운영하는게 훨씬 싸겠더라구요..
다만 조건이 붙어 있습니다.
4명까지는 1테라 용량만 제공되며 5명 이상이 신청을 해야 무제한 용량으로 바뀝니다.
약간의 편법을 써서 5개의 계정을 한사람이 관리하고 나머지 4명의 다른 사람에게 비용을 받아서 일괄 처리하면
각자 매달 10달러에 무제한 용량의 계정을 유지하는 것도 가능합니다. 물론 사용자 5명 이상을 계속 유지해야 하는 조건이죠.
저도 해볼까 하다가 총대 매기가 귀찮아서 안하고 있습니다.
아래의 링크 참고하세요.
http://m.blog.naver.com/k2love38/220396642337
역시 그렇지 않으면 대체적으로 결국 하드를 이용하는 방법이 가장 쉽고 편하고 안전하는 방법이군요...
아마존 클라이언트는 아주 그리고, 써드파티도 만족스런 프로그램이 없었습니다.
현재의 아마존 클라우드는 cold data 보관용으로나.. 쓸만하다고 생각합니다.
참고하세요
비지니스 상품은 무제한 용량에 한달에 $10 입니다 물론 5명이 이상 같은 조직으로 묶여야 하긴 하지만 혼자 5명 몫을 한다고 하더라도 $50 입니다 이는 드랍박스 아마존 에 비해도 저렴한 가격입니다.