큰 볼륨을 안전하게 사용하는 방법은 레이드 밖에 없나요?

   조회 3323   추천 0    

현재 4TB 디스크 6개를 LVM으로 묶어서 24TB 볼륨을 사용중입니다.

거래한 볼륨을 사용하니까 하드링크를 활용해서 파일들 정리하는게 너무 편리하더군요.

그래서 잘쓰고 있었는데 이렇게 여러개의 디스크를 LVM으로 묶으면 redundancy가 없어서

하나의 디스크가 Fail되면 전체 볼륨을 손실된다는 사실을 알게되었습니다.

그래서 지금 시스템 구성을 변경하려고 고민 중입니다.

저는 데이터 보관/정리의 목적이라 속도는 크게 중요하지 않고 수십TB의 거대한 볼륨을 사용하고 싶습니다.

속도는 그냥 일반하드디스크 정도 속도만 나와도 충분합니다.

LVM이 매우 편리했던 점이 볼륨의 용량을 동적 확장기능이었습니다.

처음에는 4TB 2개로 8TB 볼륨구성해서 쓰다가 용량이 더 필요해질 때마다

디스크를 하나씩 추가해서 24TB까지 오게 되었는데요.

앞으로도 필요에 따라 디스크를 계속 추가해 나갈거 같습니다.

지금 안정성 때문에 레이드5 or 레이드6 구성을 고민중인데요.

레이드5~6에서도 동적확장이 가능한가요?

7개의 하드를 레이드5로 묶어서 4TBx6=24TB 볼륨을 구성해서 사용하다가 용량이 더 필요해지면

1개의 하드를 추가해서 8개의 하드로 24TB->28TB로 동적으로 확장이 가능한건지 알고 싶습니다.

그리고 레이드 이외에 거대한 볼륨을 안전하게 사용할 수 있는 방법이 있는지 궁금합니다.

짧은글 일수록 신중하게.
술이 2021-07
ZFS를 사용하거나 윈도우서버 스토리지풀을 사용해야할거 같습니다. 리눅스도 자체 풀확장 기능이 있을거 같은데 안써봐서 모르겠습니다.
흑기사 2021-07
레이드는 동적확장 안되는걸로 알고 있습니다. 새로 구성하고 포맷해야만 하는걸로.
박문형 2021-07
어느 정도 크기의 레이드 볼륨을 원하시나요??

1년에 데이터가 얼마나 늘어 나나요??

어느회사 레이드 제품을 자신있게 다루실수 있나요??
     
조우진cas 2021-07
현재 24TB의 99%를 사용한 상태이고 현재는 1개월에 4TB바이트 정도 늘어나는거 같습니다. 아마도 40TB 정도에 도달하면 데이터가 늘어나는 속도가 많이 줄어들거 같습니다. 최대 어느정도까지의 볼륨이 필요할지 확신이 없어서 동적으로 확장할 수 있는 기능이 필요합니다.
          
맑은여름 2021-07
무섭네요.. 하드 1개만 고장나도..
          
박문형 2021-07
24TB 에서 50TB 더 필요하다고 생각하고 대략 100TB 볼륨을 구축한다고 하면

스토리지 서버 24베이 (슈퍼마이크로) 정도에 10TB 하드 12개를 가지고 11개는 RAID5로 묶고 1개는 핫스페어를 둔다고 생각하면

100TB (포맷하고 하면 약 90TB ) 의 레이드 볼륨을 구축할수 있을 것입니다..

우선 그렇게 사용하고 모자르면 나머지 빈 12베이에 하드를 채워 넣고 두번째 볼륨을 만들어서 사용하는 것을 권해드립니다..

조립서버에서 타워 형태가 되면 하드 8개 정도 달면 파워가 버티기 힘들어집니다.. 열도 잘 빼야 하기에 스토리지 서버에 구축하는 것을 권해드립니다..


물론 레이드 카드에서 동작 중이라도 레이드 볼륨을 확장하는 온라인 익스펜딩이 존재를 하긴 합니다..
(일반적인 캐쉬가 달린 6G급 레이드 카드들)

그러나 이것은 장비가 동작중에 레이드 볼륨을 확장하고 데이터 정렬도 하고 그러하기에 데이터가 깨질 위험도 있고

이것이 완료 되면 레이드 볼륨은 물리적으로 확장이 되나 OS단의 파티션은 그대로 입니다 따라서 늘어난 만큼 파티션을 새로 만들어주거나

하는 작업을 거쳐야 합니다..

그리고 작업하는데 시간도 많이 걸립니다.. (상황에 따라서는 몇일 1주일 이상도)

작업이 들어가면 멈출수 없고 중간에 전기 나가면 데이터 위험해집니다..(날라갑니다..)

그 외 여유가 있으시면 백업서버를 구축해두시기 바랍니다..

SAS 레이드 카드를 이용한 스토리지 서버는 SAS 어드레스 한계상 카드에 따라 틀리지만 하드를 100개 정도 다는게 최대 갯수 입니다..

하드 100개 달리는 스토리지 서버는 스토리지 샤시를 여러대 묶어서 꾸밀수는 있지만 관리하는게 많이 귀찮습니다..

https://www.2cpu.co.kr/hardware_2014/37935?&sfl=wr_name%2C1&stx=%B9%DA%B9%AE%C7%FC&sop=and&page=2
               
박문형 2021-07
스토리지 서버 1대 급 혹은 스토리지 서버 + JBOD 확장급이 넘어가면

여러대의 스토리지 서버를 구축하여 네트워크로 묶어서 가상스토리지를 만들어 사용하는 방법 정도가 다입니다..

아마 개인으로는 돈 문제나 기술 문제로 거의 구축이 불가능하고요..

저희 회원님중에 회사 상대로 업으로 가상스토리지 하시는 분이 계시기는 합니다..
                    
조우진cas 2021-07
전문가수준의 답변 감사드려요.
파닥파닥 2021-07
파일의 크기분포가 없어서 조심스럽지만 능력이 되신다면 object storage 도 고민해 보심직 하네요
김황중 2021-07
상위기종의 하드웨어 레이드카드는
온라인 익스펜드를 대부분 지원합니다

온라인 익스펀딩후
OS에서 볼륨만 확장해주면되고
Hp레이드카드는 아래 링크에 확장방법 확인 가능합니다

https://m.cafe.naver.com/ca-fe/web/cafes/27644121/articles/801?fromList=true&menuId=31
박문형 2021-07
하드 1개 용량 이상으로 큰 볼륨을 만들려면 레이드 밖에 방법이 없고 레이드도 구현 방식에 따라 상당히 여러가지가 있습니다..

안정된 레이드 장치를 구축하려면

튼튼하고 넉넉한 파워
열을 잘 빼줄수 있는 쿨링 시스템
데이터 오류가 적은 디스크 백플레인

하드에서는 수명이 긴 기업용 엔터프라이즈 하드

정도가 필요합니다..

이를 구축하려면

믿을수 있는 전문 레이드 장비업체에 견적을 의뢰하거나  (개인 보다는 기업이 하는 형태)

본인이 결정한 부품으로 조립하는 수밖에 없습니다..
지존 2021-07
HP 스마트어레이 옵션중에 온라인 확장 옵션이 있습니다. 추가 구매하시기 바라요. 그런데 전 용량이 크거나 사타에서는 이 옵션을 비추합니ㅏ.  차라리,  MSA스토리지 + 스냅샷 옵션이 안정성이 좋습니다. 물론 가격이 꽤 나갑니다.
     
남회귀선 2021-07
지존님 답글에  추천 드립니다.  저도 그 생각하고 읽고 내려오던중...
지존 2021-07
2cpu의 많은 분들이 허접하다고 말하시는 p410.  어레이 콘틀로러도 온라인 확장이 된답니다.
HK353 2021-08
좀 늦었지만 MergerFS + SnapRAID (+ SnapRAID-btrfs) 방식도 좋아보입니다.
MergerFS는 파일시스템 위에서 동작하는 레이어인데, 각 파일시스템을 묶어 한 볼륨으로 보이게 해주는 프로그램 입니다. 즉 각 디스크에 파일 단위로 분할되서 저장되고, 한 디스크가 고장나도 전체 데이터가 날라가지는 않습니다. 포맷 안하고 기존에 사용하던 하드 그대로 가져다 쓸수 있는 것도 장점이구요. (CPU 자원은 조금 먹는다고 합니다.)
SnapRAID 는 realtime 이 아닌 RAID 같은 것인데, 전체 디스크의 패러티를 유저가 요구할때 계산해서 패러티 디스크에 저장, 추후 복구할때 쓸수 있는 프로그램입니다. 하드 디스크 내용이 많이 변질되면 만들어둔 패러티가 의미가 없어지니 Btrfs로 스냅샷을 찍어 그 스냅샷에 대한 패러티를 계산하면 좋겠지요. (이걸 자동으로 해주는 것이 SnapRAID-btrfs 입니다.)
설명이 난잡한데 각 프로그램 사이트 들어가셔서 읽어보시면 이해가 빠를꺼라 생각합니다.


QnA
제목Page 1011/5710
2015-12   1692072   백메가
2014-05   5157811   정은준1
2018-08   3223   김건우
2020-03   3223   motu
2021-02   3223   알수없는힘
2020-05   3223   서울I김동수
2020-03   3223   교교교
2021-01   3223   SamP
2018-12   3224   하셀호프
2021-07   3224   짱님
2017-04   3224   iwill
2018-02   3224   허인구마틴
2018-11   3224   vmware2cpu
2020-04   3224   이지포토
2021-05   3225   초짜임다
2019-02   3225   박종대
2019-10   3225   겨울나무
2015-07   3225   아름다운노을
2020-05   3225   구십평
2019-03   3225   이희주
2019-05   3225   통신보안
2019-03   3225   녹야산