안녕하세요. 현재 WD Easystore 10TB와 850 EVO 120GB SATA를 사용하고 있습니다.
현재 850 EVO 120GB를 일반 파티션으로 사용하기에도 매우 애매해서 10TB HDD의 캐시로 사용하고 싶습니다.
찾아보니
1. PrimoCache 프리모캐시 - L2 SSD 캐싱
2. 저장소 풀 - 계층화 스토리지 PowerShell 설정
[https://learn.microsoft.com/ko-kr/previous-versions/windows/server/hh831739(v=ws.11)]
[https://learn.microsoft.com/ko-kr/azure-stack/hci/concepts/cache]
[https://github.com/freemansoft/win10-storage-spaces]
이렇게 2가지 선택지가 있더라구요.
(계층화 GUI는 윈서버 관리자툴밖에 지원을 안해서 파워쉘로 직접 설정을 해야한다네요... 윈10 엔터프라이즈 사용중입니다.)
1. 무슨 프로그램을 사용하는게 좋을까요?
2. 프리모캐시는 사용하기 안전한 프로그램인가요? 아주 가끔씩 불안정하다는 평가가 있어서...
Read Only 캐싱으로 사용할 경우 괜찮을까요?
3. 저장소 풀 - 계층화 스토리지 설정 후, 나중에 수명 초과 또는 오류로 디스크 제거 시 '무조건' 포맷이 필요한가요? HDD 포맷 없이 SSD만 제거하는 방법은 없을까요...
4. 혹시 이 이외 더 편리하고 안전한 프로그램이나 방법이 있을까요? 아니면.... 그냥 캐싱 없이 따로 사용할까요?
프리모 캐쉬는 아마 상용 소프트웨어 일 것입니다..
특히 Write speed 를 SSD 속도로 하고 싶어서..
1. PrimoCache: 상용 소프트웨어로 1달 정도 시험판이 있습니다.
내가 생각하는 대로 cache 를 잘 비워주지 않는 것 같습니다.
따라서 Write 할 경우 SSD 를 거쳐서 HDD 로 하는 경우가 잘 생기지 않습니다.
2. Windows Tiered Storage (주로 Windows server 2019 에서 테스트 하였습니다.)
항상 일정량의 cahce 를 비워 두기 위하여...
매일 밤 Hot data 를 SSD 에 pin 하는 기능을 program 해 본 적도 있습니다.
즉 내가 SSD 에 남겨 놓고 싶은 것만 남기고 나머지 영역은 비워서, 다음날 작업시 SSD 에 Write 하도록 하여 쓰기 속도를 올리는...
이런 테스트를 해보시면 대개 SSD 도 2장 이상, HDD 도 2개 이상 필요하다는 벽에 부딪치게 됩니다.
다만 테스트로는 SSD 1, HDD 1 에서 돌려 볼 수 있습니다.
제 의견은 많이 테스트 해보시고...
결국 SSD, HDD 각각 따로 쓰시는 겁니다.
그러니까 작고, 빠른 처리를 위하는 파일은 SSD 에, 덩치가 큰 파일은 HDD 에 넣어 놓는 식이죠.
물론 SSD 에 짜잘한 많은 파일 들은 압축을 하여서 HDD 에 backup 하여 두는 것도 생각해 볼 수 있죠.
잘 아시죠? HDD 에 작은 문서 파일 같은 것 많이 넣어두시면 속도가 팍 떨어지는 거...
* cache로 사용한다면 ssd 죽더라도 hdd가 괜찮으면 됨. hdd 죽으면 조짐. ssd는 cache로만 사용되고 용량에는 들어가지 않음
* tiered로 사용한다면 ssd 혹은 hdd 죽으면 조짐
ssd 용량은 전체 용량에 플러스 됨. ssd 죽기 전에 조짐이 안 좋으면 교체 가능. 새 ssd를 pool에 넣고 이전 ssd 제거시키면 새 ssd로 옮겨 주고 제거해도 된다고 표시되면 빼면 됨
tiered로 사용하는 경우 mirror 사용이 좋음. hdd raid 10에 해당, ssd raid 1 혹은 raid 10 해당하는 방식
ssd를 cache로 사용하는 경우 용량이 크면 클수록 hit rate가 올라가 좋음. 다다익선. 그러나 한계효용 체감의 법칙으로 어느 정도 이상 되면 효과 증가가 미미. 커다란 ssd를 용량으로도 안 잡히는 cache로만 사용하기에는 아까움
tiered로 사용하는 경우 ssd가 작으면 ssd tier, hdd tier 사이 데이터 이동이 많아 성능이 많이 떨어짐. ssd가 크면 클수록 ssd 성능으로 사용되는 비율이 높아짐.
tiered로 사용하면 기본적으로 ssd에서 입출력을 함. ssd 성능. 자주 쓰지 않는 데이터는 hdd tier로 밀어내기 함. 자주 쓰지 않던 hdd에 밀려난 데이터를 사용할 때는 hdd 성능
ssd가 작으면 cache가 유리. ssd가 크면 tiered가 유리. 경계선은 사용하는 work load에 따라 다름.
*** 주의
windows storage space에서 tiered를 사용하는 경우 쓰기를 하면 hdd tier가 아닌 ssd tier에 기록됨. ssd 성능. 원래 이러던 것이 설명도 없이 server 2019부터(win 10 해당 버전도 마찬가지) hdd tier에 기록되는 것으로 바뀌었음. hdd 성능. 기본적으로 hdd tier에 입출력 하면서 자주 쓰는 것만 ssd tier로 이동. 왜 이 따위로 만들었는지 설명이 없음. 해결방법은 ntfs가 아닌 ReFs로 포맷하는 것. ReFs로 포맷하면 종전과 같이 기본적으로 ssd tier에서 입출력하고 cold data를 hdd tier로 밀어내기 함. 두가지 방식을 설정으로 조절하는 방법은 알려져 있지 않음. 그저 무엇으로 포맷하느냐에 따라 성질이 달라짐.
저는 1.6tb 용량의 12g sas ssd 2개와 4tb hdd 12개를 mirror 구성으로 묶어서 사용하고 있습니다. 12g sas ssd가 dual 포트를 wide 포트로 사용하는 놈이라서 순차 read/write 2000mb/sec 남짓. mirror이므로 읽기 4000mb/sec 남짓, write 2000mb/sec 남짓. hdd 쓰기 속도는 1000mb/sec 남짓. 이걸 묶으니 25tb ssd 2개를 raid 1으로 묶은 것 같 같습니다. 읽기 4000mb/sec, 쓰기 2000mb/sec. 대단히 만족. random 입출력은 당연히 ssd 속도. 물론 ReFs로 포맷했습니다.
원래 StoreMI 쓰려다 블루스크린 뜨고 컴 날려먹을뻔 해서
프리모캐시는 유로에다 조금 불안해서 되도록 저장소 풀을 쓰고싶은데
저장소 풀 - 계층화에서 tiered 대신 cache로 사용하는 방법은 없나요?
저장소 풀 - 계층화에서는 무조건 tiered로 묶는 방식밖에 없죠?
ReFS는 가끔씩 RAW로 깨져버릴때가 있다는 소문이 아직 있어서 사용하기 무섭네요...
tiered로 사용할 때도 cache가 조금 할당됩니다. 용도가 좀 다릅니다. 보통 때는 ssd tier에 입출력을 하기 때문에 cache를 쓰지 않습니다. hdd tier에 있는 cold data를 읽어들일 때 cache를 사용합니다. tiered로 사용할 때 cache량은 default가 1GB인가 되는데, 10GB 이하로 설정하는 것을 권장하는 것으로 알고 있습니다. 더 커 보아야 그리 큰 효과가 없다는 이야기
ReFS는 이제 꽤 오래된 파일시스템입니다. Storage Spaces, Storage Spaces Direct와 밀접한 관계를 가지면서 상호 발전중인데, 안정성이 없다는 생각은 들지 않습니다.
이동식 매체(USB 등)는 지원을 하지 않는다고 명시적으로 밝혀 놓았는데, 실제로는 되었던 모양입니다. 그런데 갑자기 안되게 되면서 사용하던 분들이 당황했던 적이 있었던 것으로 기억합니다.
SSD 1.6TB x 1개 + HDD 4TB x 6개 = 대충 25.6TB 용량의 storage 를 쓰시는 건가요?
술이님 의견에 의하면 SSD 는 그냥 cahce 이고, 용량은 HDD 4TB x 6개 = 대충 24TB 로 생각되어서 여쭙습니다.
제 기억에는 Windows 2012 R2 에서 Tiered Storage 를 쓰면, 야간에 Batch 로 SSD Tiere 에 있는 file 들을 hot, cold 로 구분하여 자동으로 HDD 로 옮겨 놓은 것으로 알고 있었는데, Windows 2019 부터는, 이 것이 일과 중에도 자동으로 SSD 에 Write 하고 cold data 로 판정되면 HDD 로 밀려나고, 다음 쓰기를 위하여 미리 SSD 를 비워 놓는 것으로 동작하게 되는 건가요?
ssd tier에는 85%를 넣어두고 15%는 비워둡니다. 이제는 실시간으로 순환됩니다. 85%는 default이고 70%, 60%, 90% 등으로 세팅할 수 있습니다.
세팅, 혹시 이 명령어 인가요?
방금 구글링 하였는데, 신뢰가 가질 않아서..
Set-ItemProperty -Path HKLM:SYSTEMCurrentControlSetPolicies -Name DataDestageSSDFillRatioThreshold -Value 70
감사합니다.
꼭 한번 테스트 해보겠습니다.
어짜피 데스크탑에서 쓸거라면 프리모캐쉬가 쓰기 편하고 안정적입니다. writeback 쓴다면 지연시간 짧게 잡아야되고 native 옵션 써야되구요.
자주 요청되는 파일들만 메모리나 SSD 캐쉬에 들어가지 첨부터 확 빨라지진 않으니 그것만 참고하면...
대신 4k 같은 작은 파일사이즈들은 디스크 액세스보단 훨씬 빠르니 없는것보단 나아요. 토렌트 다운로드 같은것도 여러개 동시에 받을때 디스크가 버벅거리는데 프리모캐쉬 같은거 쓰면 지연 없이 디스크 액세스 문제 없이 네트워크 대역폭데로 죽죽 받아서 저장됩니다.
저기서 하나더 옵션이 더 있는데 TrueNAS 가상화 만들어서 내부네트워크로 iSCSI 붙여서 쓰는것도 방법이 있습니다. 단 가상화다보니 IO가 높을때는 리얼머신과 달리 시퓨점유율도 꽤 올라가더라구요.
일반 적으로 SSD 캐쉬를 써야하는 경우는 데스크탑 보다는 서버 쪽이 더 필요할 것 같습니다.
서버에 Mongo DB access 를 빠릿하게 하고 싶은 욕망이....
Random access 는 어느 정도 참을 수 있지만, 특히 Mongo DB initial load, 2nd idx gen, logical backup 등에 속도가 중요해서....