안녕하세요
오늘 처음 글을 올려봅니다.
다름이 아니라 , 현재 컴퓨터에 영상자료들이 상당히 많습니다..
(네.. 여러분들이 생각하시는 그런 영상자료 입니다..)
물론 즐기기 위한 것도 있지만, 언제부터인가, '받아서 본다' 의 의미가 아니라
무작정 '없으면 수집한다' 라는 의미가 되어버려서 (저는 받을뿐 업로드는 절대 하지 않습니다.)
이미 오랜 시간동안 모으다 보니 .
그 양이 점차 늘어나다 보니 관리는 물론 여러가지 힘이 들더군요
hash값과 여러가지 파일정보를 대조하여 중복된 파일을 걸러내는 툴을 이용하여
걸러내고, 영상 파일 포멧을 효율적으로 다시 포멧하여 저장하고 하고 체계적으로 관리해도..
역시 늘어가는 양을 소화하기 조차 버겁습니다.
그러다 디스크 폴트가 나서 자료를 한번다 잃어보니까 이게 상당히..가슴이 아프더군요.
그래서 raid5 나 6 정도를 통해서 최소한의 데이터 소실을 막고자 합니다.
글을 잃다보니 눈에 띄는 제품이 몇개 있었는데, 가격이 꽤 만만치 않더라구요...
그렇다고 raid 1로 하기에는 영상자료의 크기가 워낙 방대해서 ...
혹시 저처럼 고민하시는분 있으면 함께 고민하고 싶습니다.
(제품소개 같은 정보도 정말 환영합니다.)
storage
돈 아니면 답이 없습니다.
저는 큰 하드에 레이드카드 달고 JBOD식으로 담아둡니다.
정리라는 거 없고 그냥 날짜순으로 쌓입니다.
그러다가 저도 2테라짜리 하드 하나 나갔습니다.(모터가 나간듯)
배는 마니 아픈데 그런갑다 하고 있습니다.
RAID-5/6지원하는 베이수 많은 NAS가 2대 필요합니다.
하나는 서비스, 또 하나는 백업..
돈이 정답입니다.
디스크 용량을 50% 이상 넘기지 않으려고 하다보니 실제 영상자료 용량보다는 하드 용량이 커졌어요.
좀 더 효율적인 관리 방법이 있으면 좋겠다는 생각만 하고 있습니다.
중복 자료도 많을텐데.. 찾을 수 있는 방법도 잘 모르겠어서..
매번 맨땅에 해딩만 하고 있습니다.
ReFS라든가 ZFS라든가....
ZFS는 중복자료도 처리 가능하죠.
ReFS에 NTFS로 가상하드를 만들면 Windows에서도 중복처리가 가능합니다.
주기적으로 중복처리일정을 잡아주면 됩니다.
제타파일시스템 (ZFS)으로 구성하여 RAID-Z 구성
하드가 10개이면..
Raid-Z (Raid 5유사함) + 2,, 그러므로 8+2 로 구성
2개는 스페어로 셑팅,, 문제 발생되면 자동으로 스페어 하드가 레이드에 참여하도록..
자료는 소중합니다...
개인자료 10년을 잃어 버렸는데.. 3년이 지났지만.. 지금도 마음이 아프군요.
현재 구상은 끝이 났으나, 하루가 지나면 속속 단점들이 보여서 수정중에 있습니다.
어떻게 하다보니 배보다 배꼽이 커져서
가상화서버 구성까지 가게 됐습니다.
하드웨어의 비용도 비용이지만, 워낙 귀찮은걸 싫어하다보니
자료다운 -> 분류 -> 중복제거파일툴 사용 -> 최적화 화질 인코딩 까지 모든게 자동으로
되도록 스크립트를 짜고 있습니다.
소중한 것을 지키는건 역시 힘들다는 것을 체감하고 있습니다.
되는 대로 속속 자료 올리겠습니다.
ZFS나 ReFS의 중복제거방식은 비트기반 블록비교인지라 완전히 동일한 데이터를 지닌 동영상파일이 아닌이상 효과가 없습니다.
즉 인코딩 방식만 달라도, 해상도가 조금 다른것도, 앞부분이 약간 잘린것도, 다른 파일로 취급됩니다.
이러한 데이터를 중복제거하시려면 영상 전용 툴을 따로 찾으셔야 할거 같습니다.
제가 관리하는 스토라지는 주로 모션프로젝트 보관용인지라 동일한 소스파일들이 여기저기 중복되는 형태가 많아 잘못 안내를 하였습니다.
일반적인 동영상 스토라지에 ZFS나 ReFS나 Hash기반 중복제거툴은 100% 동일한 동영상 파일 외에는 효과가 없습니다.
뿝님 말에 동감 합니다.
실제로 제가 이용하는 3가지 다 걸러내지 못했습니다.
그래도 같은 파일을 받는 경우도 상당히 많아서
어느정도는 효과가 있다고 봅니다. 처음에 양이 적을때는
1~20기가 정도 용량확보를 해줍니다. 하지만 한창 버닝해서 다운 받는 양이 테라급 단위가 되면
상당양의 중복파일을 제거해서...그것만으로도 감지덕지 합니다 ㅠㅠ
지금은 제가 눈으로 대충 보면서 가려내고 있긴합니다... (너무 많아서...실수가 종종있음)
그렇게 장기보관할 녀석을 걸러내고 있긴한데...
야동도..몇시간씩 보고 걸러내고 있으니...곤욕입니다..