금년 들어서, FreeNAS 를 막 테스트하다가 요새 며칠은 MS Tiered storage 를 테스트하고 있습니다.
일단 TureNAS 를 file server 로 만 사용할 경우,
CPU i5-9600k, Memory 128GB 에 14TB x 8 개만 RAIDZ2 로 구성하여서 10G 속도 괜찮게 나오고 있습니다.
이 것을 Windows server 2022 에서 지원하기 시작한 standalone server 에서 제공하는 storage bus cache 를 써보려고 합니다.
제 생각이 맞다면, write chache 는 U.2 SSD 1.6GB x 2 mirroring(==RAID 0), HDD 는 14TB x 8 parity (==RAID 5) 로 설정하면 TrueNAS 이상 가는 성능이 나오지 않을까 생각해 봅니다.
일단 세간의 평은 MS parity (==software RAID 5) 는 제대로 성능이 나오지 않는 것으로 평가되고 있습니다.
그래도 MS 에서 2022 부터는 성능이 제대로 나온다고 선전하니까, 한번 속아 볼까 합니다.
아주 예전에 Windows 2012 R2 에서 Tiered Storage 를 테스트 하여 본적이 있는데, 그때에도 안정성 문제는 없었던 것으로 기억합니다.
그 후 SSD cache 를 쓰려고 무지 노력하였는데, 2016, 2019 까지는 server 가 최소 2대 이상 필요한 Storage Spaces Direct 에서 만 가능하였고, 이번에 2022 부터 server 1대 에서도 SSD cache 를 지원한다고 합니다.
시간이 되시면 MS 의 ReFS 의 software RAID 5 를 같이 테스트 해 보시죠....
어떤 OS를 쓰건 어차피 HBA나 raid card의 디바이스 드라이버가 필요하고, 파일시스템이 필요합니다. 어떤 파일시스템으로 포맷하여 사용하는 경우 그 파일시스템을 지원하는 OS에서만 사용할 수 있습니다. 소프트웨어 종속을 피하기 위해 FAT32만 쓰기는 좀 그런 것 같습니다.
MS의 Storage Spaces 및 Storage Spaces Direct는 유연성이 좋습니다.
안정성에 있어서도 개인적으로 여러해 동안 사용해 오면서 불만을 느낀 적이 없습니다. 불안정하다는 보고도 별로 없는 것으로 알고 있습니다.
유연성을 보자면 가령 1TB HDD 3개, 3TB HDD 2개, 4TB HDD 1개가 있는 경우 이것들을 몽땅 하나의 POOL에 때려 넣을 수 있습니다.
이 POOL에서 필요에 따라 virtual disk를 만들어 나갑니다.
속도가 아주 중요한 경우 raid 0에 해당하는 놈 1TB 만들고
중요 데이터라서 resiliency가 필요한 경우 raid 1 혹은 raid 10에 해당하는 놈 2TB 만들고
resiliency가 필요하지만 속도보다는 용량이 중요한 경우 raid 5 혹은 raid 6에 해당하는 놈 5TB 만들고
이런 식으로 사용할 수 있습니다. 쓰다가 용량이 모자라면 POOL에 더 넣으면 되고요.
이런 저런 디스크들을 모아서 한 덩어리로 만들어 쓰는 것은 당연히 가능합니다.
성능도 다른 것들은 하드웨어 raid에 비해 별로 떨어지지 않습니다만 raid 5, raid 6에 해당하는 parity나 double parity의 경우 cache 있는 raid 카드에 비해 쓰기 속도가 매우 구립니다.
Windows Server 2022에 들어 와서 mirror accelerated parity라는 것이 생겨났는데, mirror tier와 parity tier를 결합한 것입니다. Storage Spaces Direct에만 해당하는 것처럼 설명된 곳도 있지만 Storage Spaces Direct가 아닌 단일 서버 Storage Spaces도 사용할 수 있습니다. mirror tier와 parity tier는 SSD + SSD, SSD + HDD, HDD + HDD가 모두 가능합니다. 예를 들어 4TB HDD 10개가 있는 경우 4개는 mirror tier에 6개는 parity tier에 결합하여, 쓰기 작업이 이루어지면 우선적으로 mirror tier에 빠른 속도로 쓰기를 한 뒤 백그라운드에서 느린 parity tier로 밀어내기를 하는 방식입니다. parity tier의 느린 쓰기 속도는 마찬가지이지만 mirror tier 용량이 충분한 경우 쓰기 성능에 문제가 없고, 쉬는 시간에 정리해 주고 mirror tier에 공간을 확보해 두게 됩니다.
SSD와 HDD를 같이 쓰는 경우 cache로도 사용할 수 있고, SSD tier와 HDD tier로 계층을 두어 사용할 수도 있습니다.
소프트레이드 방식으로 사용하는거라면 저장소풀이 쓰기 편합니다.
동적디스크 스트라이프는 이러나 저러나 상관은 없는데 미러 레이드는 동적디스크 방식 쓰면 비정상 셧다운시 디스크 정합성 다시 체크하기 때문에 용량에 따라서 반나절 이상 디스크 체크 돌아갈수도 있습니다. 이럴바엔 그냥 저장소풀 쓰는게 맘편합니다.
괜히 그거 쓰면 디스크 인식만 어려워져요.
그냥 하드디스크 레이블 할당하느곳에서 스프라이트나 스팬 같은걸로 설정하면 됩니다.
그리고 이렇게 레이드 설정된 디스크들은 윈도우 포멧해도 그대로 인식합니다.
JBOD 사용때문에 그렇습니다.
내장 레이드가 JBOD 를 지원하지 않기 때문입니다.
문제 일어나기가 어려울 것 같긴 합니다.
이거 유용한게 고용량 하드나오기전 시절에 저용량하드랑 같티 묶어서 쓸거아니고서는 의미없습니다
JBOD 는 문제 없을 거 같은데 혹시 무슨 모드였습니까?
Adpatec 71605 Raid Card 써서 3TB x 16개를 RAID5 로 5년째 써오고 있는데, 그 사이에 2번 HDD 1개씩 고장이 나서 바꿔 주었고, 아직도 데이터는 잘 살아 있습니다.
윗 댓글로 비추어 보면
단순 JBOD 는 괜찮을 것 같습니다.
답변 진심으로 감사드립니다.
일단 TureNAS 를 file server 로 만 사용할 경우,
CPU i5-9600k, Memory 128GB 에 14TB x 8 개만 RAIDZ2 로 구성하여서 10G 속도 괜찮게 나오고 있습니다.
이 것을 Windows server 2022 에서 지원하기 시작한 standalone server 에서 제공하는 storage bus cache 를 써보려고 합니다.
제 생각이 맞다면, write chache 는 U.2 SSD 1.6GB x 2 mirroring(==RAID 0), HDD 는 14TB x 8 parity (==RAID 5) 로 설정하면 TrueNAS 이상 가는 성능이 나오지 않을까 생각해 봅니다.
일단 세간의 평은 MS parity (==software RAID 5) 는 제대로 성능이 나오지 않는 것으로 평가되고 있습니다.
그래도 MS 에서 2022 부터는 성능이 제대로 나온다고 선전하니까, 한번 속아 볼까 합니다.
아주 예전에 Windows 2012 R2 에서 Tiered Storage 를 테스트 하여 본적이 있는데, 그때에도 안정성 문제는 없었던 것으로 기억합니다.
그 후 SSD cache 를 쓰려고 무지 노력하였는데, 2016, 2019 까지는 server 가 최소 2대 이상 필요한 Storage Spaces Direct 에서 만 가능하였고, 이번에 2022 부터 server 1대 에서도 SSD cache 를 지원한다고 합니다.
시간이 되시면 MS 의 ReFS 의 software RAID 5 를 같이 테스트 해 보시죠....
저는 다 정리하고 남은 데이터는 개인적으로 스캔한 책들 뿐입니다.
이것을 1로 백업하고 다시 2중화 하고 있는 것이 전부입니다.
서버도 달랑 이 데이터 써버 하나 뿐이네요.
1로 묶어서 원본, 또 하나 더 1로 묶어서 백업본
지금 JBOD 질문은
쓰던 SSD 묶어서 하나로 써보려고 문의한 것입니다.
하드웨어는 스스로 혼자서 존재 할 수 있어야 합니다.
하드드라이브 풀을 쓰려면 꼭 소프트웨어=원도우가 꼭 있어야 한다.
이것은 일단 말이 않됩니다.
JBOD 생각했느데
그냥 SSD 4개 인텔 내장 레이드로 묶어야 하나 싶습니다.
답변 감사드립니다.
안정성에 있어서도 개인적으로 여러해 동안 사용해 오면서 불만을 느낀 적이 없습니다. 불안정하다는 보고도 별로 없는 것으로 알고 있습니다.
유연성을 보자면 가령 1TB HDD 3개, 3TB HDD 2개, 4TB HDD 1개가 있는 경우 이것들을 몽땅 하나의 POOL에 때려 넣을 수 있습니다.
이 POOL에서 필요에 따라 virtual disk를 만들어 나갑니다.
속도가 아주 중요한 경우 raid 0에 해당하는 놈 1TB 만들고
중요 데이터라서 resiliency가 필요한 경우 raid 1 혹은 raid 10에 해당하는 놈 2TB 만들고
resiliency가 필요하지만 속도보다는 용량이 중요한 경우 raid 5 혹은 raid 6에 해당하는 놈 5TB 만들고
이런 식으로 사용할 수 있습니다. 쓰다가 용량이 모자라면 POOL에 더 넣으면 되고요.
이런 저런 디스크들을 모아서 한 덩어리로 만들어 쓰는 것은 당연히 가능합니다.
성능도 다른 것들은 하드웨어 raid에 비해 별로 떨어지지 않습니다만 raid 5, raid 6에 해당하는 parity나 double parity의 경우 cache 있는 raid 카드에 비해 쓰기 속도가 매우 구립니다.
Windows Server 2022에 들어 와서 mirror accelerated parity라는 것이 생겨났는데, mirror tier와 parity tier를 결합한 것입니다. Storage Spaces Direct에만 해당하는 것처럼 설명된 곳도 있지만 Storage Spaces Direct가 아닌 단일 서버 Storage Spaces도 사용할 수 있습니다. mirror tier와 parity tier는 SSD + SSD, SSD + HDD, HDD + HDD가 모두 가능합니다. 예를 들어 4TB HDD 10개가 있는 경우 4개는 mirror tier에 6개는 parity tier에 결합하여, 쓰기 작업이 이루어지면 우선적으로 mirror tier에 빠른 속도로 쓰기를 한 뒤 백그라운드에서 느린 parity tier로 밀어내기를 하는 방식입니다. parity tier의 느린 쓰기 속도는 마찬가지이지만 mirror tier 용량이 충분한 경우 쓰기 성능에 문제가 없고, 쉬는 시간에 정리해 주고 mirror tier에 공간을 확보해 두게 됩니다.
SSD와 HDD를 같이 쓰는 경우 cache로도 사용할 수 있고, SSD tier와 HDD tier로 계층을 두어 사용할 수도 있습니다.
이 유연한 구성이 RAID 카드 시장이 축소되고
죄다 확장 카드 = HBA 를 사용하게 만든 주범이긴 합니다.
다수의 여러 SSD / HDD 를 JBOD 로 사용한다면
안정성 문제는 전혀 없겠군요.
진심으로 감사드립니다.
동적디스크 스트라이프는 이러나 저러나 상관은 없는데 미러 레이드는 동적디스크 방식 쓰면 비정상 셧다운시 디스크 정합성 다시 체크하기 때문에 용량에 따라서 반나절 이상 디스크 체크 돌아갈수도 있습니다. 이럴바엔 그냥 저장소풀 쓰는게 맘편합니다.
정말 도움이 되는 조언입니다.
진심으로 답변 감사드립니다.