두 1테라 하드를 2테라 볼륨 하나로 묶어서 쓰려고 하는데요... RAID0으로 하면 되겠지만 데이터 백업용 스토리지 이기때문에 RAID0은 안쓰려고 합니다. 둘중에 하드 하나가 나가더라도 그냥 나머지 한개에 있는 데이터는 살아있도록 aufs 또는 mhddfs 등의 방식을 쓰려고 하는 중인데요...
혹시 경험 있으신분 조언 부탁드립니다...
하드가 더 있고 돈을 더 투자한다면 zfs 를 포함 여러 다른 솔루션들이 있을 수 있겠지만 지금 이 컴퓨터는 그냥 단순 백업용으로 가끔 rsync 로 제 데이터를 백업해놓을 목적입니다... 원래 1테라 하드가 3개 있었기에 3개를 mdadm RAID5로 묶을 예정이였는데 묶기도 전에 1개가 불량이 나버렸네요... 부팅은 다른 하드로 하고 이 볼륨은 어디까지나 그냥 데이터만 넣을 것입니다...
오늘부터 rsync 를 시작하려했는데... 혹시 경험 있으신분들의 댓글을 좀 읽고 결정하려고 문의 글 올립니다.
감사합니다~
그냥 cronjob에 cp 명령어 걸어놔서 한쪽 디스크에 정보가 들어가면
다른 디스크에 저절로 복사되는 것을 걸어두시는 것도 괜찮을거 같습니다.
저한테 메인 컴퓨터 (서버)가 있구요... 서버의 데이터를 다른 컴퓨터로 다 옮기려고 2번째 컴퓨터를 세팅중입니다.
그 2번째 컴퓨터에 2개의 1테라하드디스크를 1개의 볼륨으로 만들어서 마운트하여 쓰려고 하는데요... 레이드0으로 볼륨을 만들지 않고 aufs 나 mhddfs 형식의 디스크풀링을 써서 혹시라도 2개의 디스크중 한개가 망가져도 나머지 한개의 디스크에있는 데이터는 날라가지 않게 세팅하고 싶은것입니다. (이것도 헛깔리나요?)
제가 aufs 나 mhddfs에 익숙치 못해서 이해를 온전히 못했던거 같네요..
그냥 미러링을 하시는줄 알아서 크론잡을 얘기했네요..
aufs는 unionfs기술을 활용하여 여러 계층의 디렉토리(혹은 블록디바이스)를 하나의 볼륨으로 합쳐주는데
쓰기작업을 하면 CoW 혹은 마운트 한 브랜치에만 쓰기가 적용됩니다. (라운드로빈, most-free-space 몇가지 옵션이 있습니다)
rootfs에 쓰기에 불가능한 라이브시디의 경우에 CoW 특성을 활용하여 램디스크와 rootfs를 union으로 묶어서 쓰기작업을 하기 위한 목적으로 aufs를 사용하지만 실제 데스탑이나 실사용 목적으로 쓰는 경우는 못봤습니다.
(예외적으로 도커의 경우에는 aufs가 이상적인 파일시스템입니다)
미러링이 목적이신 것 같은데 블록디바이스 레벨로 백업하실려면 raid1이나 drbd(cluster ha)
파일단위 백업은 rsync가 가장 낫지 않을까 합니다.
btrfs를 쓰시면 zfs와 유사하게 소프트 raid와 서브볼륨 형태로 블록디바이스 구성이 가능합니다.
데이터 백업 목적으로 컴퓨터를 구성하는 중입니다.
"aufs는 unionfs기술을 활용하여 여러 계층의 디렉토리(혹은 블록디바이스)를 하나의 볼륨으로 합쳐주는데 "
이것을 하려고 하는것입니다... 그러니까 레이드0과 비슷한결과를 주는 것을 원하는데요 (2개의 하드를 합쳐서 1개의 하드처럼 사용). 그런데 한개의 디스크가 망가져도 나머지 한개의 디스크에 들어있는 데이터는 살아있는거죠...
레이드는 전혀 없구요...
그냥 하드웨어 리소스가 모자라는 상태이기 때문에...
제가 알기로는 mhddfs 는 두개의 하드를 하나의 볼륨으로 만들어 놓으면 먼저 하나의 하드를 다 채운다음에 두번째 하드에 데이터가 들어간다고 그러더라고요... 그런데 aufs 는 파일들을 적절하게 나누어서 두개의 하드에 저장한다고 하던데...
이것 이외에 제가 하고자하는것을 쉽고 좋게 적용하는 법을 아시는한 알려주시면 감사드리겠습니다~
aufs의 사용법은 쉽습니다. 공식 페이지를 보셔도 되고 example이나 tutorial도 인터넷에 많이 있습니다.
마운트 옵션에서 데이터 저장 방식을 지정할 수 있는데 라운드로빈(브랜치마다 돌아가면서 저장), most-free-space(남은 용량 순으로) 그외 옵션이 많이 있어서 원하시는 정책을 정하시면 됩니다.
aufs외에 더 좋은 방법이 있을 것 같은데 일단 제가 아는 건 이 정도입니다.
aufs 가 전에는 커널에 포함이 되어있었다고 하는데요 이제 따로이기때문에 aufs 를 쓰려면 커널을 다시 컴파일해야 하고 aufs 도 그것에 맞추어 따로 컴파일은 해줘야 한다고 설명은 나와 있더군요... 그런데 저는 걱정이 aufs 가 이제 다 흘러가고 지나가버린 obsolete 한것이냐 아니냐에서 있거든요.
zfs pool 을 쓰면 비슷하고 쉽고 써봤고 다 좋은데... zfs 는 오버헤드가 너무 심해서 고물컴퓨터에는 좀 적합하지 않다는것이잖아요...
디스크가 둘중에 하나 망가져 100% 데이터를 날리는것과 50% 데이터를 날리는것이 백업의 의미에서는 크게 차이가 없기도 하지만... 정작 진짜 사태가 생겼을때 그나마 50%의 데이터라도 살리기위해서 우리들은 엄청나게 삽질을 하는경우들이 허다하잖아요... 그러니까 그나마 50%라도 살아있다면 ㅎㅎㅎ...
지금 쓰고 있는 장비에 1테라 + 1테라를 레이드0으로 묶어서 쓰고 (performance 향상을 위해서), 백업을 해주는 장비에 2테라 하드를 넣거나 2테라 하드를 레이드 1로 묶어서 백업용도로 쓰는것이 더 말이 되는 솔루션이겠죠?
결국엔 그런 방식으로 가던지 아니면 HA 클러스터로 가야죠...
답 감사드립니다... 역시 블랙커피님은 제가 진정 리눅스 방면에서는 인정하는 분입니다.
도커 공부하면서 aufs를 좀 살펴본 정도구요. 말씀대로 앞으로 obsolete될 가능성이 높은 것 같습니다.
http://askubuntu.com/questions/279127/doesnt-raring-mainline-kernelppa-v-3-8-3-support-aufs
그간 aufs 메인테이너의 노력에도 불구하고 커널 업스트림에 반영되지 못했고
최근 3.18커널부터 overlayfs가 메인라인에 들어간 사실을 보면.. aufs 자리를 overlayfs가 대신 할 것 같습니다.
개인적으론 rsync를 사용하지만 실시간 복제를 원하시면 drbd나 cdp를 사용하시는 방법이 있습니다.