Dell R730xd + MD1220 x 2 스토리지 서버 입니다. R730xd 본체에는 H730P에 1T*24 SSD이 물려 있구요. MD1220 어레이에는 H830에 2T*48 HDD이 물려 있습니다. 백플레인당 24개씩 raid 60으로 묶었고, SSD는 hot data, HDD는 warm data로 쓰고 있습니다. centos 7에 ext4입니다.
현재 세팅으로 잘 돌아갑니다만, hot/warm data 관리가 복잡해서 + 캐시 활용을 위해서 혼합 레이드 구성이 가능한지 질문을 드립니다.
데이터는 바이너리 로그로 하루에 1T 정도씩 쌓입니다. 처음에는 hot data로 들어갔다가, 2주 후에 warm data로, 3달 후에는 cold data로 옮겨가는 방식입니다. 액세스 패턴은 시간이 지남에 따라 지수적으로 접속 확률이 감소합니다. 그래서 최근 데이터 캐시가 매우 중요합니다. 매일 스크립트를 돌려서 날짜별로 옮기는데, 매일 데이터 양이 변동이 심하고, 실시간으로 접속하는 클라이언트도 있어서, 깨지는 일이 종종 있습니다. 클라이언트는 200대 정도 입니다.
그래서 1T*24 SSD + 2T*48 HDD (+ 추가로 수T nvme ssd + 수백G ram 캐시)까지 다 해서 총용량 100T 정도로 묶어버리고 싶은데, 가능한 방법이 있을까요? ZFS, lvmcache, mdcache 등 찾아봤습니다만, 하드웨어 레이드랑은 잘 섞이지 않더군요.
혼합 레이드가 아니더라도, 이런 날짜별 액세스 패턴을 잘 지원하는 스토리지 서버 하드웨어/소프트웨어 구성에 대해서 좋은 아이디어 있으시면 공유해 주시면 감사하겠습니다.
ZFS, mdcache등은 그냥 cache일뿐 원하시는 내용 하고는 거리가 멈니다.
이걸 하기위한 몇몇 솔루션들이 있는데 FILEDATA와 METADATA를 구분하고 FILEDATA의 ZONE을 3개를 만드는 겁니다.
그 위에 FUSE 등을 사용해서 single name space로 3개의 zone을 1개의 DISK 처럼 사용할 수 있도록 하는 방법이 있습니다.
쉽게 예를 들면 CEPH에 OSD를 3개를 만들고 TIERING을 두는 겁니다. 그리고 오래된 OBJECT/FILE을 2번->3번 TIER로 옮기는 방식으로 처리가 가능합니다.
문제는 이런 솔루션들이 비싸요.
솔루션 비용 생각하면 HOT-WARM 전체를 통으로 SSD로 하고 COLD를 다른쪽으로 이동하시는게 더 저렴하게 들겁니다.
꼭꼭 필요하시면 쪽지주세요