100TB용량의 파일시스템은 어떤것을 사용하시나요?

   조회 4104   추천 0    

사내에서 대용량 패킷파일들 저장 및 TCP replay 시키기 위해

100TB짜리 스토리지가 필요해서 시스템은 발주를 넣었습니다.


해당 시스템이 상시 가동도 아닌지라...

HW Raid 카드를 Cache 1GB & FWBC 구성품으로 

8TB * 17개를 Raid 6으로 구성해 단일볼륨 생성하다가 

추후 핫스페어 및 백업 디스크를 추가 구매하는 것까지는 결정했는데...


파일시스템을 뭐로 해야될까요?

OS는 설정 관리가 출장이 많은 상황인지라 

귀찮아 OMV를 설치하려고 하고 있으며...

하기 파일시스템을 웹메니지먼트로 

지원한는 것은 알고 있는데..

BTRFS , EXT3, EXT4, XFS, JFS


파일 시스템 볼륨 최대 사이즈에 걸려서

내심 XFS 단일 볼륨으로 가려고 합니다만...

이게 최선의 선택일지 조언좀 구합니다.

짧은글 일수록 신중하게.
박문형 2019-03
파티션이 커질수록 데이터 망실 위험도 높아지며 백업이나 여러가지가 걸리게 됩니다..

우선 백업 시스템 부터 갖추시고요..

데이터 파티션은 적당하게 2-3개 정도로 나누세요..
     
현 시스템의 목적이 기존에 NAS 및 마이크로서버에
저장된 30TB 정도 되는 데이터를 모아놓고 쓰려고 하기 때문에
백업은 아직까지 크게 고려를 안하고 있는 상황입니다.

차라리 아래 구성이 더 괜찮을까요?
(OS는 SSD 별도 구성중입니다.)

8TB * 12ea > Raid 5, 80TB XFS
8TB * 1ea  > Hotspare
8TB * 4ea  > 각각 단일 백업
박문형 2019-03
만일 저라면

8TB * 8ea : RAID 5 or 6 : DATA 1
8TB * 8ea : RAID 5 or 6 : DATA 2
8TB * 1ea : 핫스페어

정도로 꾸며질 듯합니다..
     
조언 감사합니다.
단일파일 사이즈가 16GB 전후 또는 70GB 전후
정도되는 파일인지라
stripe size는 최대치로 해놓고 쓰려는데...
별 문제는 없겠죠^^
박문형 2019-03
stripe size는 최대치로 하면 실용량이 조금 줄어듭니다..

디폴트가 보통 256K 정도 사용하는데 512K 정도에서 협의 하는 것이 좋아 보입니다..

최대치가 1M 인가요??
     
이번주 발주넣어서;
다른 시스템이랑 같이 들어오는지라 4월 2주차쯤 확인 가능할 것 같습니다^^;
     
참 카드는 Intel RMS3DC080  입니다
역시 ZFS 아닐까요. FreeNAS 한번 알아보세요. Linux도 ZFS가 되긴 합니다만..
     
BSD시스템인 FreeNAS에서도 tcpreplay를 지원하는지 VM 띄워서 확인해 봐야 되는데...
지금도 지방 출장 내려가고 있어서 애매하내요;
사내에 시스템엔지니어가 저뿐인지라...개발자분들께 확인 요청하기에는...;
          
tcpreplay를 처음 듣습니다만, FreeBSD port collection에 tcpreplay가 있는 것으로 봐서는 지원하는 것으로 보입니다.
               
네트워크 패킷캡처 파일을 재생하는 패키지입니다^^;
서주학 2019-03
ZFS를 추천 합니다.
박문형 2019-03
근데 보통 ZFS 시스템은 HBA로 연결한 하드에서 사용되지 않나요??

캐쉬달린 레이드 시스템에서 사용하나요??
     
보통 HBA로 연결하고 RAM을
1TB당 1GB 정도 여유있게 넣어주어 캐쉬로 사용하는 것으로 알고 있습니다^^
     
제온프로 2019-03
둘다 가능합니다....

레이드 컨트롤러에서 단일로 Raid0 으로 잡아줘서 올려주면..

ZFS 에서 하드 풀로 만들어서..

RaidZ로 잡아요.. (Raid5와 유사함)

성능이 강력해 집니다..
          
ZFS 시스템을 테스트해본 적이 거의 없어서 고민되내요;
그냥 마음편히 XFS로 가려고 했었는데...
주말에 테스트 진행좀 해봐야겠습니다.
               
제온프로 2019-03
단 시간에 하기는 어려우니
자신있는 걸로 하세요..
          
박경원 2019-03
ZFS는 레이드를 쓰면 안되지 않나요?
ZFS가 모든 디스크에 Transprent 하게
접근이 가능해야 한다는것 같던데
레이드 사용시 데이터 유실이 된다고 들었습니다
제온프로 2019-03
ZFS이 제일 좋아 보입니다..
후에 하드 추가 가능해요...
아나벨가토 2019-03
저라면 OMV는 그냥 가지고 놀기용이지 업무용으로 쓰기에는 조금 무리라고 봅니다. 4버젼때 초반 OMV 올리고 나서 엄청 고생 많이 했었고,
OMV 중간에 커널업데이트나 일부 업데이트 있으면 시스템 크래쉬 상황이 종종 있긴했습니다. 그렇다고 업데이트 안하고 쓰기에는 문제가 있구요.
OMV도 인텔보안업데이트나 ARM 쪽 업데이트까지 다 올라가거든요.
모스월드 2019-03
ZFS추천입니다. 대신 메모리를 많이 필요로 합니다.


QnA
제목Page 1778/5708
2014-05   5139128   정은준1
2015-12   1673617   백메가
2019-02   4110   이문영
2015-06   4110   김건우
2019-02   4110   딸기대장
2017-11   4110   김건우
2022-12   4110   LevinF
2014-12   4110   사랑해
2014-05   4110   양윤영
2015-05   4110   서울사람
2016-01   4110   김준유
2015-09   4110   윈98
2018-03   4110   lovin09
2016-09   4110   젝티브
2016-09   4110   EdH
2015-11   4110   웃자웃자
2020-07   4110   퍼싱글
2016-12   4111   AplPEC
2015-11   4111   대한민국
2017-08   4111   삐돌이슬픔이
2016-09   4111   perls
2015-09   4111   김건우