가상화 환경에서 저장소로 고통받고 있어서 시간을 들여 제가 생각하고있는 하이퍼바이저 환경에서의 디스크 I/O 속도 측정을 해봤습니다.
[Environment]
HP MicroServer Gen 8 + E3-1230-v2 + 8GBx2
B120i 각 하드를 단독 RAID 0 지정 :
1. 삼성전자 1TB Spinpoint F3 HD103SM (SATA3/7200/32M)
2. 삼성전자 250GB SSD 850EVO
3. x
4. x
SPP2016.10 최신 펌 적용
[Condition]
하이퍼바이저 설정은 Hyper-V는 2세대, ESXi는 11버전, 하드디스크 셋팅은 '설정파일(SSD에 저장) + 1번하드(SSD, 32GB, 운영체제설치 및 부팅) + 2번하드(HDD, 127GB)'에 1번하드,2번하드 모드 Thick(씩) 프로비저닝 적용(ESXi는 빠르게 비워지는 씩 프로비저닝)
Native 구동의 경우 HD Tune에서 성능 측정할 하드 크기를 제한함,
1. Native 구동(대조군) : Windows Server 2016 Datacenter GUI(SSD에 설치)+SPP2016.10 Automotive(Automation?)으로 드라이버 및 관리 프로그램 설치
2. Windows Server 2016(SSD에 설치)의 Hyper-V : Windows 10 + 기본 드라이버만 사용
3. ESXi6.0.0U2(10월 26일 최신빌드, SSD에 설치) + hpvsa88(ESXi5.5.0 드라이버로 교체) : Windows 10 + 기본 드라이버만 사용(VMWare Tools 설치 전후 차이 없음)
4. ESXi6.0.0U2 + hpvsa100(문제가 되고있는 최근 드라이버이자 기본 드라이버) : Windows 10 + 기본드라이버만 사용
[Experiment]
CrystalDiskMark로는 테스트한 그대로 기록
HD Tune로는 SSD는 읽기와 랜덤 읽기만, HDD는 읽기, 쓰기, 랜덤 읽기, 랜덤 쓰기 모두 기록
[Result]
CrystalDiskMark
| 항목 | 네이티브 | WS2016 | ESXi6U2 +hpvsa88 | ESXi6U2 +hpvsa100 | |
|---|---|---|---|---|---|
| Read (SSD) | Seq Q32T1 | 545.6 | 539.5 | 550.9 | 336 |
| 4K Q32T1 | 342.6 | 217.1 | 318.2 | 10.57 | |
| Seq | 522.8 | 529.7 | 515 | 88.29 | |
| 4K | 39.06 | 29.37 | 39.73 | 0.344 | |
| Write (SSD) | Seq Q32T1 | 526.8 | 497.5 | 529.2 | 330.5 |
| 4K Q32T1 | 324.8 | 174 | 237.4 | 10.48 | |
| Seq | 521.3 | 473.1 | 502.3 | 88.72 | |
| 4K | 126.1 | 53.99 | 78.99 | 0.347 | |
| Read (HDD) | Seq Q32T1 | 140.1 | 114.3 | 81.1 | 85.96 |
| 4K Q32T1 | 1.149 | 1.144 | 1.082 | 1.088 | |
| Seq | 140.7 | 139.5 | 97.94 | 87.87 | |
| 4K | 0.672 | 0.579 | 0.666 | 0.343 | |
| Write (HDD) | Seq Q32T1 | 146.8 | 145.6 | 104.2 | 104 |
| 4K Q32T1 | 1.312 | 1.329 | 1.369 | 1.27 | |
| Seq | 146.2 | 144.9 | 104.4 | 88.3 | |
| 4K | 1.328 | 1.318 | 1.261 | 0.352 | |
HD Tune Pro
| 대분류 | 중분류 | 소항목 | 네이티브 | WS2016 | ESXi6U2 +hpvsa88 | ESXi6U2 +hpvsa100 |
|---|---|---|---|---|---|---|
| Disk Benchmark (SSD,Read) | Transfer Rate Minimum (MB/s) | 476 | 335.6 | 476.7 | 4.8 | |
| Transfer Rate Maximum (MB/s) | 542.3 | 530.7 | 529.7 | 5.5 | ||
| Transfer Rate Average (MB/s) | 530.5 | 500.5 | 521 | 5.3 | ||
| Access Time (ms) | 0.059 | 0.221 | 0.125 | 11.8 | ||
| Burst Rate (MB/s) | 3260.7 | 800.2 | 1613.2 | |||
| CPU Usage (%) | 3 | 11.6 | 13.6 | 1.1 | ||
| Disk Random Access (SSD, Read) | operation / sec (IOPS) | 512 bytes | 16318 | 1841 | 7247 | 86 |
| 4 kb | 17426 | 1758 | 7567 | 86 | ||
| 64 kb | 5692 | 1482 | 3532 | 87 | ||
| 1 mb | 508 | 319 | 433 | 87 | ||
| Random | 947 | 556 | 760 | 86 | ||
| avg. access time (ms) | 512 bytes | 0.061 | 0.543 | 0.137 | 11.518 | |
| 4 kb | 0.057 | 0.568 | 0.132 | 11.577 | ||
| 64 kb | 0.175 | 0.674 | 0.283 | 11.378 | ||
| 1 mb | 1.967 | 3.132 | 2.304 | 11.458 | ||
| Random | 1.054 | 1.795 | 1.315 | 11.500 | ||
| max. access time (ms) | 512 bytes | 2.527 | 30.450 | 1.706 | 12.544 | |
| 4 kb | 0.883 | 29.133 | 1.193 | 12.283 | ||
| 64 kb | 0.976 | 30.450 | 1.232 | 12.572 | ||
| 1 mb | 3.177 | 33.374 | 3.710 | 14.217 | ||
| Random | 2.734 | 32.441 | 3.144 | 14.127 | ||
| avg. speed (MB/s) | 512 bytes | 7.968 | 0.899 | 3.539 | 0.042 | |
| 4 kb | 68.071 | 6.871 | 29.562 | 0.337 | ||
| 64 kb | 355.777 | 92.633 | 220.811 | 5.493 | ||
| 1 mb | 508.366 | 319.221 | 433.909 | 87.274 | ||
| Random | 480.973 | 282.602 | 385.829 | 44.119 | ||
| Disk Benchmark (HDD, Read) | Transfer Rate Minimum (MB/s) | 131.5 | 78.2 | 68.5 | 5 | |
| Transfer Rate Maximum (MB/s) | 145.3 | 142.6 | 95.9 | 5.4 | ||
| Transfer Rate Average (MB/s) | 138.6 | 135.7 | 85.5 | 5.300 | ||
| Access Time (ms) | 9.01 | 9.43 | 9.7 | 14.6 | ||
| Burst Rate (MB/s) | 3215.6 | 584.8 | 1834.1 | 5.2 | ||
| CPU Usage (%) | 1.6 | 3.1 | 2.1 | 15.7 | ||
| Disk Benchmark (HDD, Write) | Transfer Rate Minimum (MB/s) | 103.6 | 100.1 | 47.7 | 1.2 | |
| Transfer Rate Maximum (MB/s) | 161.3 | 156.6 | 123.3 | 5.4 | ||
| Transfer Rate Average (MB/s) | 136.6 | 131.3 | 86.5 | 5.2 | ||
| Access Time (ms) | 5.44 | 5.22 | 5.9 | 11.6 | ||
| Burst Rate (MB/s) | 3243 | 746.7 | 1787.7 | 5.2 | ||
| CPU Usage (%) | 1.4 | 3.5 | 2.6 | 1.7 | ||
| Disk Random Access (HDD, Read) | operation / sec (IOPS) | 512 bytes | 111 | 108 | 104 | 68 |
| 4 kb | 113 | 107 | 104 | 70 | ||
| 64 kb | 104 | 95 | 96 | 64 | ||
| 1 mb | 44 | 43 | 31 | 28 | ||
| Random | 72 | 68 | 59 | 46 | ||
| avg. access time (ms) | 512 bytes | 8.976 | 9.221 | 9.568 | 14.693 | |
| 4 kb | 8.839 | 9.286 | 9.581 | 14.134 | ||
| 64 kb | 9.582 | 10.486 | 10.369 | 15.482 | ||
| 1 mb | 22.495 | 22.810 | 31.573 | 35.274 | ||
| Random | 13.803 | 14.552 | 16.807 | 21.648 | ||
| max. access time (ms) | 512 bytes | 26.223 | 33.084 | 23.375 | 52.081 | |
| 4 kb | 19.171 | 27.113 | 46.689 | 54.130 | ||
| 64 kb | 21.703 | 32.279 | 19.205 | 53.071 | ||
| 1 mb | 35.506 | 44.962 | 103.935 | 77.600 | ||
| Random | 29.348 | 58.487 | 39.487 | 65.566 | ||
| avg. speed (MB/s) | 512 bytes | 0.054 | 0.053 | 0.051 | 0.033 | |
| 4 kb | 0.442 | 0.421 | 0.408 | 0.276 | ||
| 64 kb | 6.522 | 5.960 | 6.027 | 4.037 | ||
| 1 mb | 44.454 | 43.840 | 31.672 | 38.349 | ||
| Random | 36.758 | 34.866 | 30.188 | 23.438 | ||
| Disk Random Access (HDD, Write) | operation / sec (IOPS) | 512 bytes | 194 | 203 | 178 | 86 |
| 4 kb | 163 | 170 | 144 | 87 | ||
| 64 kb | 139 | 150 | 119 | 85 | ||
| 1 mb | 57 | 45 | 42 | 45 | ||
| Random | 79 | 73 | 663 | 66 | ||
| avg. access time (ms) | 512 bytes | 5.130 | 4.912 | 5.607 | 11.499 | |
| 4 kb | 6.120 | 5.858 | 6.918 | 11.449 | ||
| 64 kb | 7.152 | 6.646 | 8.388 | 11.685 | ||
| 1 mb | 17.394 | 22.118 | 23.602 | 21.808 | ||
| Random | 12.593 | 13.570 | 15.717 | 14.965 | ||
| max. access time (ms) | 512 bytes | 81.503 | 73.836 | 19.270 | 13.320 | |
| 4 kb | 21.562 | 57.243 | 22.061 | 12.523 | ||
| 64 kb | 29.973 | 43.692 | 31.310 | 105.221 | ||
| 1 mb | 473.144 | 137.928 | 607.810 | 130.618 | ||
| Random | 120.772 | 47.021 | 165.953 | 67.971 | ||
| avg. speed (MB/s) | 512 bytes | 0.095 | 0.099 | 0.087 | 0.042 | |
| 4 kb | 0.638 | 0.667 | 0.565 | 0.341 | ||
| 64 kb | 8.738 | 9.403 | 7.450 | 5.349 | ||
| 1 mb | 57.490 | 45.211 | 42.368 | 45.854 | ||
| Random | 40.291 | 37.389 | 32.283 | 33.904 | ||
[Conclusion]
개판입니다.....개판.......
WS2016+Win10에서 SSD IOPS가 너무 낮게 나옵니다.......
WS2016+Win10에서 HDD성능은 ESXi6.0.0U2+hpvsa88보다는 안정적으로 나오는데 큰 차이를 보이지는 않고 있구요.
[Quation]
어떤걸 써야하나요......일단 저는 너무 처참한 SSD IOPS성능때문에 ESXi6.0.0U2+hpvsa88 조합으로 생각하고 있고, 이거보다 더 좋은 방안을 가지고 계신분이 있으면 그 방법대로 가려구요.
ps. 테스트하고 싶은 시스템이 있으면 알려주십시오. 대신 테스트해드립니다.
ps2. 2cpu 게시판은 표의 테두리가 없는게 기본인거 같군요
HP에서는 서드 하드에 대한 호환성 문제를 보장하지 않거든요...
그리고..B씨리즈의 레이드 카드 성능은..... 그닥입니다.
번들은 번들일뿐...
이 글을 쓰게 된게 하이퍼바이저 host 운영체제에서 스토리지 드라이브를 얼마나 잘 프로비지닝해주는지 확인해보려는 목적이어서 대조군으로 네이티브를 같이 확인해본거구요.
HP 하드 취급하는 곳이 있습니까? 일반판하고 HP판하고 비교해보면 좋을거 같군요.
저는 상용서비스로 굴릴것도 아니고 걍 HGST 데스크스타나 써야겠군요.......