안녕하세요.
이번에 DELL R510 을 구매하여 SATA3 HDD 스토리지를 구축하고 있습니다.
SSD cachecade를 했는데 벤치를 돌려봐도 결과값이 이상해서 문의 드려요.
사양
DELL R510, H700 1GB 컨트롤러
VD0 : 시게이트 2.5" SAS 10k 600GB x 2 (RAID1) (C 드라이브)
VD1 : HGST SATA3 4TB 7200rpm x 6 (RAID 10) (D 드라이브) - 256k 스트라이프, Adaptive read cache, write back, disk cache enabled
VD2 : Samsung 860 pro 256GB (cachecade read only)
약 10TB 정도의 데이터 스토리지이고 주로 큰파일들 (영상,데이터등) 위주의 스토리지 사용 목적입니다.
D드라이브는 일단 사용량은 0 입니다. 세팅만 한 상태에요.
Cachecade를 사용해서 Seq read의 성능 향상을 꾀하고자 했으나 오히려 더 줄었네요.
- Cachecade OFF
- Cachecade On (5회 수행이나 9회 수행이나 비슷합니다)
궁금한점.
1. 이 테스트로는 그렇고 데이터가 쌓이고 실 사용되어지면서 적중률(?)이 오르기 전까지는 체감이 어렵다고 봐야할까요?
2. 이 cachecade의 성능을 알 수 있는 테스트 방법이 있을지요.
설마 cachecade가 작동 안되는건 아니겠죠?
이곳의 많은 벤치결과나 게시물들을 읽고 기대에 부풀었건만 먼가 이상한 상황이네요.
DELL H700 이 cachecade 가 재대로 지원이 되는지 버젼이 얼마인지부터 확인해야 할 듯합니다..
델 유저에서 나온 링크에서도 갈팡질팡하는 것으로 판단됩니다..
https://www.dell.com/downloads/global/products/pvaul/en/perc-technical-guidebook.pdf
cachecade 항목이 있습니다만 사용할수 있는 SSD가 DELL에서 검증된 모델만 되는 것 같은 뉘앙스를 줍니다..
http://www.2cpu.co.kr/4raid/238
K님의 글과 BMT자료와 댓글의 초기에는 모르지만 시간이 지나면 느껴진다는 글을 보고 맞겠다 싶었거든요.
직접 써보면서 느껴야 하는걸까요.
재대로 셋팅 되었다면 그 방법이 다일 듯합니다..
2. 매뉴얼에는 Dell qualified Enterprise SSDs를 사용해야 한다고 되어 있지만, 아무 SSD나 사용할 수 있습니다.(SATA 혹은 SAS)
3. CacheCade를 사용하려면 SSD는 H700에 물려 있어야 합니다. 다른 SATA 콘트롤러에 물려 있으면 안됨.
4. Crystal Disk Mark의 결과값은 H700 Raid 카드의 1GB cache 영향을 받은 것으로 파일 입출력이 cache size를 벗어나면 저 값보다 떨어질 것입니다. Samsung 860 Pro는 SATA3 SSD이므로 입출력 속도가 600MB/sec를 넘을 수 없습니다. H700 Raid 카드 cache 때문에 좋게 나타난 것으로 보입니다.
5. CacheCade 쓰지 않았을 때 6개 하드디스크를 RAID10으로 묶었다고 해도 벤치마크에서는 저렇게 나오지만 작은 파일이 많이 섞여 있으면 속도가 떨어집니다. 가령 Windows 폴더 전체를 복사하거나 한다면 그 안에 작은 파일들이 많이 섞여 있어서 카피할 때 속도는 오르락 내리락 하면서 100MB/sec 이하로 떨어질 수도 있습니다. 큰 파일은 RAID 디스크에 분산 저장되지만 stripe size보다 작은 파일들은 디스크 하나에만 저장됩니다.
6. 5번을 생각할 때 아주 큰 파일을 입출력할 때라면 CacheCade 사용하는 것이 오히려 속도를 떨어뜨릴 수도 있겠지만, 크고 작은 파일들이 섞여있는 환경이라면 CacheCade가 있는 것이 순차 파일의 경우에도 성능에 도움이 될 수 있습니다. 작은 랜덤 파일의 경우에는 당연히 성능이 크게 증가함. 벤치마크 결과와는 달리 보통의 경우 실제 사용에 있어서는 성능 향상을 기대할 수 있음.
7. RAID 볼륨에서 disk cache enabled로 설정하셨는데요. disk cache enabled로 하는 것이 성능에 이점이 있습니다. 무정전 전원 공급장치(UPS)를 쓰는 환경이라면 좋습니다. 그러나 UPS가 없는 경우라면 disk cache를 off시키는 것이 바람직합니다. 정전시 RAID cache 내용을 보호하기 위해 배터리 혹은 Capacitor를 사용하게 되는데요. 그것은 RAID 콘트롤러 cache 내용은 보호하지만 disk cache 내용은 보호하지 않습니다. 결국 disk cache enabled로 하면 정전이 되었을 때 RAID 콘트롤러 배터리가 의미가 별로 없게 됩니다.
8. CacheCade로 쓰기 위해 H700에 물린 SSD는 trim이 작동되지 않습니다. 따라서 사용하다보면 급격히 성능이 하락합니다. 또 cache로 사용되는 SSD는 입출력이 많게 되어 flash 소모가 굉장히 많습니다. 기업용이 아닌 일반용 SSD는 정전시 cache 내용이 보호되지 않습니다.
2번에서 Dell qualified Enterprise SSD가 아닌 아무 SSD나 사용할 수 있다고 했지만 이런 이유로 일반용이 아닌 기업용 SSD를 쓰는 것이 좋습니다. 기업용 SSD는 정전시 보호기능이 있고, overprovisioning을 많이 해서 trim이 안되는 환경에서도 리얼타임 GC 기능으로 성능이 하락하지 않습니다. endurance도 훨씬 높습니다.
만일 일반용 SSD를 cache 용도로 사용한다면 overprovisioning을 많이 해 주는 것이 좋습니다. 가령 860 pro 256GB라면 삼성 magician에서 overprovision을 더해 200GB로 만들어 놓고 쓰면 좋습니다. 용량은 줄지만 작은 파일 입출력 속도가 크게 증가하고, endurance가 크게 증가하고, trim이 안되는 환경에서도 성능 하락이 별로 없습니다. 단 정전시 보호기능은 어쩔 수 없고요. 정전시 보호기능을 뺀다면 일반용 SSD에 overprovision을 많이 해 주면 용량은 줄지만 기업용 비스름하게 됩니다.
DELL R510의 내부 2.5인치나 3.5인치가 이 H700 컨트롤러에 다 물려있습니다. VD 3개가 모두 H700에 물려있는 상황입니다.
실 환경은 적게는 수MB에서 많아도 1GB는 거의 넘지 않는 환경이고 동일 파일들을 자주 사용하게 됩니다. 1GB는 어쩌다 영상을 묶는다거나 그럴때 나오고 빈도도 높지는 않을거 같습니다.
disk cache 또한 쓰기보다 읽기 비율이 월등이 높아서 disable 하는것이 여러모로 낫겠습니다. 아직 UPS까지는 구매 고려를 못하고 있네요.
DELL의 경우 SSD를 cache용도로 쓰게되면 VD로 잡히고 VD1(D드라이브) 뿐만 아니라 VD0(C드라이브)도 무조건 cache로 사용을 하게 되더라구요 이건 컨트롤러에서 지정이 불가능한 거 같습니다. 또한 OS영역에는 보여지지 않아서 overprovisioning은 별도로 떼서 하려고 고민하던 차였습니다. 이건 떼서 해야할 부분이 맞네요.
일단 내일 SSD를 200GB 정도로 overprovisioning 은 하고...벤치마크의 단위를 낮은 단위부터 키워가면서 했을때 어느정도에서 성능이 떨어지는지 보면 되겠네요. 결과가 나오면 추가로 업데이트 해보겠습니다.
SSD에서 Crystal Disk Mark 따위로 테스트하는 것은 대략 burst 속도입니다.
처음에는 성능이 좋지만 계속 쓰면 steady state 속도로 떨어집니다. 저게 로그 눈금이라서 그런 것인데, 실제로는 10배 차이 이상입니다.
기업용 SSD(혹은 일반용에 overprovision을 많이 하는 경우)에서는 burst 속도가 증가하는 것이 아니라 steady state 속도가 증가합니다.
burst 속도가 100m 달리기라면 steady state 속도는 마라톤 속도, 100m 달리기 하는 속도로 24시간 달릴 수는 없습니다. 한번 달리고 쉬어야 하죠.
입출력을 가끔씩 하는 경우 burst 속도가 나오다가 계속하면 steady 속도로 떨어지는데, 입출력을 하지 않고 쉬는 시간에 GC가 작동하여 clean cell들을 만들어주고 나면 다시 burst 속도를 낼 수 있습니다. GC를 효율적으로 하도록 도와주는 것이 trim입니다. SSD를 SAS에 물리면 trim이 작동하지 않습니다. 그러면 GC가 효율적으로 작동하지 않아 계속 dirty 상태에 머물러 성능이 저하됩니다.
기업용 SSD(혹은 overprovision을 많이 준 경우)에서는 여유 작업공간이 충분하여 trim이 안되더라도 GC를 효율적으로 할 수 있습니다. 그래서 steady state일 때에도 성능이 좋은 것이죠.
Crystal Disk mark 같은 툴은 비교적 간단한 툴이라서 steady state 속도를 측정하는 데에는 적합하지 않습니다. steady state 속도를 측정하려면 디스크 전체를 꽉 채우는 쓰기를 세번 하고 나서 10분 쯤 쉰 뒤에 본격적인 테스트를 합니다. 최소 몇시간은 걸리죠.
SSD를 SAS 콘트롤러에 물려서 RAID cache로 쓰는 경우에는 trim도 작동하지 않고 입출력도 많게 되어 flash 소모도 많게 됩니다. 그래서 계속 사용하다보면 성능이 떨어지는 것을 방지하고 수명을 늘리기 위해 overprovisioning을 하는 것입니다.
CasCade의 효과를 측정하려면 RAID볼륨에 한 80% 쯤 데이터를 채우고 많은 파일들(예 Windows 폴더 전체)을 이쪽에서 저쪽으로 저쪽에서 이쪽으로 복사해 본다든지 하는 방법이 있을 것입니다.
벤치로는 결국 ssd cachecade 효과는 어떻게 해볼 도리가 없겠네요. 그냥 복사하면서 체감하거나 해야하는게 맞을거 같습니다.
긴 글..답변 정말 감사드립니다.