송주환RAID1 Policy / 40Gbps Link / 70/30 Mixed / 100% Random / 8VM,4VMDK,4Thread
4KiB / 16KiB / 1MiB Block Size
4KiB:
16KiB:
1MiB: 네트워크 대역폭 한계 측정 목적
4개 호스트, 40Gbps 링크에서 vSAN은 최대 75%의 대역폭을 사용할 수 있으므로, 70/30 Mixed workload에서 대략 최대 21GB/s 가량의 스루풋을 달성할 수 있을 것으로 예상됩니다.
동시간대의 vSAN 백엔드 부하를 더하면, 약 80% 정도의 로드를 보이는 것을 알 수 있습니다. (+ 읽기 작업의 대부분은 타겟 호스트에서 처리되는 것도 추측할 수 있습니다)
번외) 32개 VM으로 1.3MIOPS 달성
4K 100% Random Read.4VMDK/4Thread
이건 재미로만 보시면 됩니다.
다만 이렇게 구성하면 iSCSI로 얼마나 나오나 참고용으로 한번 해보려구요.
그렇다면 나중에 iSCSI와 NVMe/TCP를 비교해보는 것도 괜찮을 것 같습니다.
우선 vSphere 8.0 3 노드(nic 10g)에 NFS 데이터스토어 마운트하고, 각 노드에 fio 노드용 VM 생성했습니다.
fio는 --size=4Gb --rw=read --bs=1M --direct=1 --numjobs=4 --ioengine=libaio --iodepth=8 --group_reporting --runtime=60 --startdelay=60 옵션으로 돌렸구요.
순차 읽기라 그런가 장비 대역폭 잘 활용하고 있는 것 같습니다.
내일은 iscsi도 해보고 전체적으로 읽기, 쓰기, 읽기+쓰기 데이터 한번 다 뽑아보려구요.
All clients: (groupid=0, jobs=3): err= 0: pid=0: Mon May 1 12:29:36 2023
read: IOPS=3541, BW=3542Mi (3714M)(208GiB/60024msec)
slat (usec): min=66, max=14211, avg=118.73, stdev=37.44
clat (usec): min=1625, max=169010, avg=27178.12, stdev=3449.07
lat (msec): min=3, max=169, avg=27.30, stdev= 3.45
bw ( MiB/s): min= 1434, max= 3273, per=66.04%, avg=2339.00, stdev=26.26, samples=954
iops : min= 1434, max= 3272, avg=2338.40, stdev=26.25, samples=954
lat (msec) : 2=0.01%, 4=0.01%, 10=0.02%, 20=1.48%, 50=98.21%
lat (msec) : 100=0.26%, 250=0.02%
cpu : usr=0.23%, sys=4.08%, ctx=166726, majf=0, minf=24721
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=100.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.1%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=212588,0,0,0 short=0,0,0,0 dropped=0,0,0,0