박문형 2018-05

https://www.thomas-krenn.com/en/wiki/MegaRAID_CacheCade_SSD_Cache

리틀제리 2018-05

이 링크에서 봐야 할 부분이 무엇일까요? 힌트좀 주세요.

박문형 2018-05

https://www.dell.com/community/PowerEdge-HDD-SCSI-RAID/H700-cachecade-using-SATA-SSD-with-SAS-disks/td-p/3784155

DELL H700 이 cachecade 가 재대로 지원이 되는지 버젼이 얼마인지부터 확인해야 할 듯합니다..

델 유저에서 나온 링크에서도 갈팡질팡하는 것으로 판단됩니다..

https://www.dell.com/downloads/global/products/pvaul/en/perc-technical-guidebook.pdf

cachecade 항목이 있습니다만 사용할수 있는 SSD가 DELL에서 검증된 모델만 되는 것 같은 뉘앙스를 줍니다..

리틀제리 2018-05

일단 시스템과 컨트롤러 바이오스,펌웨어는 모두 최신으로 올렸습니다.

http://www.2cpu.co.kr/4raid/238
K님의 글과 BMT자료와 댓글의 초기에는 모르지만 시간이 지나면 느껴진다는 글을 보고 맞겠다 싶었거든요.
직접 써보면서 느껴야 하는걸까요.

박문형 2018-05

시간두고 써보세요..

재대로 셋팅 되었다면 그 방법이 다일 듯합니다..

간장게장 2018-05

1. CacheCade의 목적은 큰 파일의 순차 읽기 쓰기 속도를 향상시키는 것이 아니라 작은 파일의 랜덤 읽기 성능을 향상시키는 것입니다.

2. 매뉴얼에는 Dell qualified Enterprise SSDs를 사용해야 한다고 되어 있지만, 아무 SSD나 사용할 수 있습니다.(SATA 혹은 SAS)

3. CacheCade를 사용하려면 SSD는 H700에 물려 있어야 합니다. 다른 SATA 콘트롤러에 물려 있으면 안됨.

4. Crystal Disk Mark의 결과값은 H700 Raid 카드의 1GB cache 영향을 받은 것으로 파일 입출력이 cache size를 벗어나면 저 값보다 떨어질 것입니다. Samsung 860 Pro는 SATA3 SSD이므로 입출력 속도가 600MB/sec를 넘을 수 없습니다. H700 Raid 카드 cache 때문에 좋게 나타난 것으로 보입니다.

5. CacheCade 쓰지 않았을 때 6개 하드디스크를 RAID10으로 묶었다고 해도 벤치마크에서는 저렇게 나오지만 작은 파일이 많이 섞여 있으면 속도가 떨어집니다. 가령 Windows 폴더 전체를 복사하거나 한다면 그 안에 작은 파일들이 많이 섞여 있어서 카피할 때 속도는 오르락 내리락 하면서 100MB/sec 이하로 떨어질 수도 있습니다. 큰 파일은 RAID 디스크에 분산 저장되지만 stripe size보다 작은 파일들은 디스크 하나에만 저장됩니다.

6. 5번을 생각할 때 아주 큰 파일을 입출력할 때라면 CacheCade 사용하는 것이 오히려 속도를 떨어뜨릴 수도 있겠지만, 크고 작은 파일들이 섞여있는 환경이라면 CacheCade가 있는 것이 순차 파일의 경우에도 성능에 도움이 될 수 있습니다. 작은 랜덤 파일의 경우에는 당연히 성능이 크게 증가함. 벤치마크 결과와는 달리 보통의 경우 실제 사용에 있어서는 성능 향상을 기대할 수 있음.

7. RAID 볼륨에서 disk cache enabled로 설정하셨는데요. disk cache enabled로 하는 것이 성능에 이점이 있습니다. 무정전 전원 공급장치(UPS)를 쓰는 환경이라면 좋습니다. 그러나 UPS가 없는 경우라면 disk cache를 off시키는 것이 바람직합니다. 정전시 RAID cache 내용을 보호하기 위해 배터리 혹은 Capacitor를 사용하게 되는데요. 그것은 RAID 콘트롤러 cache 내용은 보호하지만 disk cache 내용은 보호하지 않습니다. 결국 disk cache enabled로 하면 정전이 되었을 때 RAID 콘트롤러 배터리가 의미가 별로 없게 됩니다.

8. CacheCade로 쓰기 위해 H700에 물린 SSD는 trim이 작동되지 않습니다. 따라서 사용하다보면 급격히 성능이 하락합니다. 또 cache로 사용되는 SSD는 입출력이 많게 되어 flash 소모가 굉장히 많습니다. 기업용이 아닌 일반용 SSD는 정전시 cache 내용이 보호되지 않습니다.

2번에서 Dell qualified Enterprise SSD가 아닌 아무 SSD나 사용할 수 있다고 했지만 이런 이유로 일반용이 아닌 기업용 SSD를 쓰는 것이 좋습니다. 기업용 SSD는 정전시 보호기능이 있고, overprovisioning을 많이 해서 trim이 안되는 환경에서도 리얼타임 GC 기능으로 성능이 하락하지 않습니다. endurance도 훨씬 높습니다.

만일 일반용 SSD를 cache 용도로 사용한다면 overprovisioning을 많이 해 주는 것이 좋습니다. 가령 860 pro 256GB라면 삼성 magician에서 overprovision을 더해 200GB로 만들어 놓고 쓰면 좋습니다. 용량은 줄지만 작은 파일 입출력 속도가 크게 증가하고, endurance가 크게 증가하고, trim이 안되는 환경에서도 성능 하락이 별로 없습니다. 단 정전시 보호기능은 어쩔 수 없고요. 정전시 보호기능을 뺀다면 일반용 SSD에 overprovision을 많이 해 주면 용량은 줄지만 기업용 비스름하게 됩니다.

리틀제리 2018-05

답변 감사합니다. 많은 도움이 되었습니다.

DELL R510의 내부 2.5인치나 3.5인치가  이 H700 컨트롤러에 다 물려있습니다. VD 3개가 모두 H700에 물려있는 상황입니다.

실 환경은 적게는 수MB에서 많아도 1GB는 거의 넘지 않는 환경이고 동일 파일들을 자주 사용하게 됩니다. 1GB는 어쩌다 영상을 묶는다거나 그럴때 나오고 빈도도 높지는 않을거 같습니다.

disk cache 또한 쓰기보다 읽기 비율이 월등이 높아서 disable 하는것이 여러모로 낫겠습니다. 아직 UPS까지는 구매 고려를 못하고 있네요.

DELL의 경우 SSD를 cache용도로 쓰게되면 VD로 잡히고 VD1(D드라이브) 뿐만 아니라 VD0(C드라이브)도 무조건 cache로 사용을 하게 되더라구요 이건 컨트롤러에서 지정이 불가능한 거 같습니다. 또한 OS영역에는 보여지지 않아서 overprovisioning은 별도로 떼서 하려고 고민하던 차였습니다. 이건 떼서 해야할 부분이 맞네요.

일단 내일 SSD를 200GB 정도로 overprovisioning 은 하고...벤치마크의 단위를 낮은 단위부터 키워가면서 했을때 어느정도에서 성능이 떨어지는지 보면 되겠네요. 결과가 나오면 추가로 업데이트 해보겠습니다.

리틀제리 2018-05

50M,100M,500M,1G  로 테스트 했을때 수치는 여전합니다. 500M 까지는 Seq 속도가 1.3G까지 나오기는 하는데 캐시를 오프했을때 좀 더 나오는 상황이구요. 이 툴로는 측정이 불가능해 보이고 캐시가 적중하는 걸 테스트하는 툴이어야 효용성을 알 수 있을 듯 합니다.

간장게장 2018-05

SSD에서 Crystal Disk Mark 따위로 테스트하는 것은 대략 burst 속도입니다.
처음에는 성능이 좋지만 계속 쓰면 steady state 속도로 떨어집니다. 저게 로그 눈금이라서 그런 것인데, 실제로는 10배 차이 이상입니다.
기업용 SSD(혹은 일반용에 overprovision을 많이 하는 경우)에서는 burst 속도가 증가하는 것이 아니라 steady state 속도가 증가합니다.

burst 속도가 100m 달리기라면 steady state 속도는 마라톤 속도, 100m 달리기 하는 속도로 24시간 달릴 수는 없습니다. 한번 달리고 쉬어야 하죠.

입출력을 가끔씩 하는 경우 burst 속도가 나오다가 계속하면 steady 속도로 떨어지는데, 입출력을 하지 않고 쉬는 시간에 GC가 작동하여 clean cell들을 만들어주고 나면 다시 burst 속도를 낼 수 있습니다. GC를 효율적으로 하도록 도와주는 것이 trim입니다. SSD를 SAS에 물리면 trim이 작동하지 않습니다. 그러면 GC가 효율적으로 작동하지 않아 계속 dirty 상태에 머물러 성능이 저하됩니다.

기업용 SSD(혹은 overprovision을 많이 준 경우)에서는 여유 작업공간이 충분하여 trim이 안되더라도 GC를 효율적으로 할 수 있습니다. 그래서 steady state일 때에도 성능이 좋은 것이죠.

Crystal Disk mark 같은 툴은 비교적 간단한 툴이라서 steady state 속도를 측정하는 데에는 적합하지 않습니다. steady state 속도를 측정하려면 디스크 전체를 꽉 채우는 쓰기를 세번 하고 나서 10분 쯤 쉰 뒤에 본격적인 테스트를 합니다. 최소 몇시간은 걸리죠.

SSD를 SAS 콘트롤러에 물려서 RAID cache로 쓰는 경우에는 trim도 작동하지 않고 입출력도 많게 되어 flash 소모도 많게 됩니다. 그래서 계속 사용하다보면 성능이 떨어지는 것을 방지하고 수명을 늘리기 위해 overprovisioning을 하는 것입니다.

CasCade의 효과를 측정하려면 RAID볼륨에 한 80% 쯤 데이터를 채우고 많은 파일들(예 Windows 폴더 전체)을 이쪽에서 저쪽으로 저쪽에서 이쪽으로 복사해 본다든지 하는 방법이 있을 것입니다.

리틀제리 2018-05

네..burst의 경우는 그렇다는건 인지되었었는데, 질문글에도 올렸지만 860 pro는 OP를 할 방법이 없네요...매지션 버전이 5로 올라가면서 OP기능이 일반 파티션 하는거랑 같습니다. 200GB로 하고 H700에 물려도 238GB정도 (기본 출시 OP된 상태)로만 잡혀서 OP는 현재 불가능 해보입니다. 이 부분은 850으로 바꾸는게 그나마 최선의 선택으로 보이네요.

벤치로는 결국 ssd cachecade 효과는 어떻게 해볼 도리가 없겠네요. 그냥 복사하면서 체감하거나 해야하는게 맞을거 같습니다.

긴 글..답변 정말 감사드립니다.