박문형 2023-01

본인에게 사용하기 편한 것을 사용하시면 됩니다..

프리모 캐쉬는 아마 상용 소프트웨어 일 것입니다..

dateno1 2023-01

읽기 전용이면 최저한도로 데이터 소실된 가능성은 없습니다

한효석 2023-01

저도 그런 문제로 많이 고민 했었습니다.
특히 Write speed 를 SSD 속도로 하고 싶어서..

1. PrimoCache: 상용 소프트웨어로 1달 정도 시험판이 있습니다.
    내가 생각하는 대로 cache 를 잘 비워주지 않는 것 같습니다.
    따라서 Write 할 경우 SSD 를 거쳐서 HDD 로 하는 경우가 잘 생기지 않습니다.

2. Windows Tiered Storage (주로 Windows server 2019 에서 테스트 하였습니다.)
  항상 일정량의 cahce 를 비워 두기 위하여...
  매일 밤 Hot data 를 SSD 에 pin 하는 기능을 program 해 본 적도 있습니다.
  즉 내가 SSD 에 남겨 놓고 싶은 것만 남기고 나머지 영역은 비워서, 다음날 작업시 SSD 에 Write 하도록 하여 쓰기 속도를 올리는...
  이런 테스트를 해보시면 대개 SSD 도 2장 이상, HDD 도 2개 이상 필요하다는 벽에 부딪치게 됩니다.
  다만 테스트로는 SSD 1, HDD 1 에서 돌려 볼 수 있습니다.

제 의견은 많이 테스트 해보시고...
결국 SSD, HDD 각각 따로 쓰시는 겁니다.
그러니까 작고, 빠른 처리를 위하는 파일은 SSD 에, 덩치가 큰 파일은 HDD 에 넣어 놓는 식이죠.
물론 SSD 에 짜잘한 많은 파일 들은 압축을 하여서 HDD 에 backup 하여 두는 것도 생각해 볼 수 있죠.
잘 아시죠? HDD 에 작은 문서 파일 같은 것 많이 넣어두시면 속도가 팍 떨어지는 거...

Elsaphaba 2023-01

결국은 돌고돌아 순정인가요...

간장게장 2023-01

ssd 1개 + hdd 1개로 구성할 때
* cache로 사용한다면 ssd 죽더라도 hdd가 괜찮으면 됨. hdd 죽으면 조짐. ssd는 cache로만 사용되고 용량에는 들어가지 않음
* tiered로 사용한다면 ssd 혹은 hdd 죽으면 조짐
ssd 용량은 전체 용량에 플러스 됨. ssd 죽기 전에 조짐이 안 좋으면 교체 가능. 새 ssd를 pool에 넣고 이전 ssd 제거시키면 새 ssd로 옮겨 주고 제거해도 된다고 표시되면 빼면 됨

tiered로 사용하는 경우 mirror 사용이 좋음. hdd raid 10에 해당, ssd raid 1 혹은 raid 10 해당하는 방식

ssd를 cache로 사용하는 경우 용량이 크면 클수록 hit rate가 올라가 좋음. 다다익선. 그러나 한계효용 체감의 법칙으로 어느 정도 이상 되면 효과 증가가 미미. 커다란 ssd를 용량으로도 안 잡히는 cache로만 사용하기에는 아까움

tiered로 사용하는 경우 ssd가 작으면 ssd tier, hdd tier 사이 데이터 이동이 많아 성능이 많이 떨어짐. ssd가 크면 클수록 ssd 성능으로 사용되는 비율이 높아짐.

tiered로 사용하면 기본적으로 ssd에서 입출력을 함. ssd 성능. 자주 쓰지 않는 데이터는 hdd tier로 밀어내기 함. 자주 쓰지 않던 hdd에 밀려난 데이터를 사용할 때는 hdd 성능

ssd가 작으면 cache가 유리. ssd가 크면 tiered가 유리. 경계선은 사용하는 work load에 따라 다름.


*** 주의
windows storage space에서 tiered를 사용하는 경우 쓰기를 하면 hdd tier가 아닌 ssd tier에 기록됨. ssd 성능. 원래 이러던 것이 설명도 없이 server 2019부터(win 10 해당 버전도 마찬가지) hdd tier에 기록되는 것으로 바뀌었음. hdd 성능. 기본적으로 hdd tier에 입출력 하면서 자주 쓰는 것만 ssd tier로 이동. 왜 이 따위로 만들었는지 설명이 없음. 해결방법은 ntfs가 아닌 ReFs로 포맷하는 것. ReFs로 포맷하면 종전과 같이 기본적으로 ssd tier에서 입출력하고 cold data를 hdd tier로 밀어내기 함. 두가지 방식을 설정으로 조절하는 방법은 알려져 있지 않음. 그저 무엇으로 포맷하느냐에 따라 성질이 달라짐.

저는 1.6tb 용량의 12g sas ssd 2개와 4tb hdd 12개를 mirror 구성으로 묶어서 사용하고 있습니다. 12g sas ssd가 dual 포트를 wide 포트로 사용하는 놈이라서 순차 read/write 2000mb/sec 남짓. mirror이므로 읽기 4000mb/sec 남짓, write 2000mb/sec 남짓. hdd 쓰기 속도는 1000mb/sec 남짓. 이걸 묶으니 25tb ssd 2개를 raid 1으로 묶은 것 같 같습니다. 읽기 4000mb/sec, 쓰기 2000mb/sec. 대단히 만족. random 입출력은 당연히 ssd 속도. 물론 ReFs로 포맷했습니다.

Elsaphaba 2023-01

매우 상세한 설명 정말 감사드립니다. 장단점이 한번에 보이네요.
원래 StoreMI 쓰려다 블루스크린 뜨고 컴 날려먹을뻔 해서
프리모캐시는 유로에다 조금 불안해서 되도록 저장소 풀을 쓰고싶은데
저장소 풀 - 계층화에서 tiered 대신 cache로 사용하는 방법은 없나요?
저장소 풀 - 계층화에서는 무조건 tiered로 묶는 방식밖에 없죠?
ReFS는 가끔씩 RAW로 깨져버릴때가 있다는 소문이 아직 있어서 사용하기 무섭네요...

간장게장 2023-01

당연히 ssd를 cache로만 사용할 수도 있습니다.

tiered로 사용할 때도 cache가 조금 할당됩니다. 용도가 좀 다릅니다. 보통 때는 ssd tier에 입출력을 하기 때문에 cache를 쓰지 않습니다. hdd tier에 있는 cold data를 읽어들일 때 cache를 사용합니다. tiered로 사용할 때 cache량은 default가 1GB인가 되는데, 10GB 이하로 설정하는 것을 권장하는 것으로 알고 있습니다. 더 커 보아야 그리 큰 효과가 없다는 이야기

ReFS는 이제 꽤 오래된 파일시스템입니다. Storage Spaces, Storage Spaces Direct와 밀접한 관계를 가지면서 상호 발전중인데, 안정성이 없다는 생각은 들지 않습니다.

이동식 매체(USB 등)는 지원을 하지 않는다고 명시적으로 밝혀 놓았는데, 실제로는 되었던 모양입니다. 그런데 갑자기 안되게 되면서 사용하던 분들이 당황했던 적이 있었던 것으로 기억합니다.

술이 2023-01

윈도우 예전버전이라도 SSD1나 HDD1나 1:1로 티어로 구성하였는데 SSD 죽었는데 데이터는 그대로 있었습니다. 둘중 하나죽으면 데이터 날릴거 생각하고 그리 만들었는데 결과는 미러 구성 안해도 SSD 죽었다고 안날라갑니다. 순수한 데이터는 HDD에 들어가는거 같습니다. Writeback 캐쉬 SSD 용량거 20G 이상 잡아주고 나머진 읽기캐쉬로 썼었는데 딱히 데이터 날라가는 그런 경우는 예상과 달리 그대로였다는게...

한효석 2023-01

1.6tb 용량의 12g sas ssd 2개와 4tb hdd 12개를 mirror 구성 이면,
SSD 1.6TB x 1개 + HDD 4TB x 6개 = 대충 25.6TB 용량의 storage 를 쓰시는 건가요?
술이님 의견에 의하면 SSD 는 그냥 cahce 이고, 용량은 HDD 4TB x 6개 = 대충 24TB 로 생각되어서 여쭙습니다.

제 기억에는 Windows 2012 R2 에서 Tiered Storage 를 쓰면, 야간에 Batch 로 SSD Tiere 에 있는 file 들을 hot, cold 로 구분하여 자동으로 HDD 로 옮겨 놓은 것으로 알고 있었는데, Windows 2019 부터는, 이 것이 일과 중에도 자동으로 SSD 에 Write 하고 cold data 로 판정되면 HDD 로 밀려나고, 다음 쓰기를 위하여 미리 SSD 를 비워 놓는 것으로 동작하게 되는 건가요?

간장게장 2023-01

tiered일 때는 cache가 아닙니다. 용량으로 잡힙니다.
ssd tier에는 85%를 넣어두고 15%는 비워둡니다. 이제는 실시간으로 순환됩니다. 85%는 default이고 70%, 60%, 90% 등으로 세팅할 수 있습니다.

한효석 2023-01

많이 좋아졌군요.

세팅, 혹시 이 명령어 인가요?
방금 구글링 하였는데, 신뢰가 가질 않아서..

Set-ItemProperty -Path HKLM:SYSTEMCurrentControlSetPolicies -Name DataDestageSSDFillRatioThreshold -Value 70

간장게장 2023-01

예 맞습니다.

한효석 2023-01

많이 배웠습니다.
감사합니다.

꼭 한번 테스트 해보겠습니다.

술이 2023-01

프리모캐쉬 제가 처음에 소개하고 여기저기 써보고 그랬는데 단순하게 쓸거면 프리모캐쉬가 제일 편합니다. 스토리지풀은 파워쉘 옵션 치다가 GG 칠겁니다. 2012버젼에서 되던 명령어가 2016 2019에선 또 안먹히네? 하면서 검색 참 많이 했었습니다. writeback 캐쉬 크게 잡아보겠다고 파워쉘로 그리 힘들게...

어짜피 데스크탑에서 쓸거라면 프리모캐쉬가 쓰기 편하고 안정적입니다. writeback 쓴다면 지연시간 짧게 잡아야되고 native 옵션 써야되구요.
자주 요청되는 파일들만 메모리나 SSD 캐쉬에 들어가지 첨부터 확 빨라지진 않으니 그것만 참고하면...
대신 4k 같은 작은 파일사이즈들은 디스크 액세스보단 훨씬 빠르니 없는것보단 나아요. 토렌트 다운로드 같은것도 여러개 동시에 받을때 디스크가 버벅거리는데 프리모캐쉬 같은거 쓰면 지연 없이 디스크 액세스 문제 없이 네트워크 대역폭데로 죽죽 받아서 저장됩니다.

저기서 하나더 옵션이 더 있는데 TrueNAS 가상화 만들어서 내부네트워크로 iSCSI 붙여서 쓰는것도 방법이 있습니다. 단 가상화다보니 IO가 높을때는 리얼머신과 달리 시퓨점유율도 꽤 올라가더라구요.

한효석 2023-01

저도 테스크탑에서 쓴다면 프로모캐쉬도 찬성합니다만,
일반 적으로 SSD 캐쉬를 써야하는 경우는 데스크탑 보다는 서버 쪽이 더 필요할 것 같습니다.
서버에 Mongo DB access 를 빠릿하게 하고 싶은 욕망이....

Random access 는 어느 정도 참을 수 있지만, 특히 Mongo DB initial load, 2nd idx gen, logical backup 등에 속도가 중요해서....