서버 : R720 H710mini 1대, R720 H710p mini
SSD : HFS480G3H2X069N
Data Transfer Rate Details serial Ata : 600 Mb/s
- Drive Transfer Rate : 600 Mbps (external)
- Internal Data Rate : 555 Mb/s (read) / 530 Mb/s (write)
- Sequential Read : 555 Mb/s
- Sequential Write : 530 Mb/s
- Random Read : 96k Iops
- Random Write : 35k Iops
성능은 이렇고 레이드 설정시에 아래와 같이 했습니다.
동일설정
Strip Element Size : 64KB
Read Policy : no read Ahead
Write policy : write Through
Disk Cache : Default
1서버 디스크 6개식 RAID5 2그룹
2서버 디스크 12개 RAID50
왼쪽이 1서버 오른쪽이 2서버입니다.
3서버로 RAID5 12개 묶어서 테스트 해볼려고 하는데 또이또이 해서안했습니다.
혹시나SSD 레이드 설정이나 캐시 설정에서 수정하면 더 좋아질 부분이 있을까요??
참고로 ESXI에서 윈도우10 VM에서 테스트한 결과입니다.
배워보자 it
저정도면 정상 수준의 속도니까요
우선 PCIe 대역폭 때문에 8개를 raid 0으로 묶어도 overhead 감안하여 3500MB/sec 이상은 나올 수 없습니다.
거기에 SAS2008이 여러개의 SSD를 커버하기에는 좀 약합니다.
6G 카드라도 LSI 9270-8i. 9286-8e 같은 것은 PCIe 3.0 x8에 SAS2208 칩셋을 사용합니다.
PCIe 대역폭으로는 overhead 감안하여 7000MB/sec 정도
SAS2008은 PowerPC CPU 하나를 사용하는데, SAS2208은 2개를 사용합니다.
6G 카드라도 성능이 훨씬 낫지요.
그런데 6G SAS가 8 port이므로 SAS 대역폭이 4800MB/sec입니다.
실제로 얼마까지 나오는지는 테스트를 해 봐야 알 수 있겠네요.
12G SAS HBA인 9300-16i에 SS530 dual port 12G SAS SSD를 물리면 순차 읽기 쓰기 속도가 2200mb/sec 정도 나옵니다.
4개를 Windows Storage Spaces의 simple stripe(Raid 0 해당)로 묶었더니 8800MB/sec가 아니라 6600MB/sec 정도 나오더군요.
이것은 PCIe 3.0 x8 대역폭 때문일 것입니다. LSI 9405W-16i 같은 것은 PCIe 3.0 x16 카드인데, PCIe 대역폭은 2배가 되니 좀 더 나올 것입니다.
그런데 2개 중에서 오른쪽 것이 훨씬 잘 나와야 하는 것인데, 비슷하면서 약간 못하네요. SAS2008 칩셋의 한계인 것으로 보입니다.
그리고 SSD를 raid로 묶는 테스트를 하는 경우 CrystalDiskMark의 설정에서 NVMe로 세팅하는 것이 좋을 것으로 봅니다. 설정에서 NVMe로 한다는 것은 꼭 NVMe에만 해당하는 것이 아니라 queue depth와 thread를 조정하는 것 뿐입니다.(manual setting도 가능함)
NVMe로 설정하고 테스트하는 것이 테스트 환경에 부합한다고 봅니다. SSD를 raid로 묶는다면 제 성능은 queue depth가 훨씬 클 때 나타납니다.
raid로 묶었을 때 queue depth 낮을 때의 4k 성능은 단일디스크나 그게 그것이므로 raid로 묶어도 단일사용자의 체감성능은 그리 높아지지 않습니다. 그러나 queue depth가 클 때의 4k 성능이 증가하면 여러명이 사용하는 서버 환경에서는 차이가 많이 납니다.