maronet 2023-04

저도 랩 정비 마무리하고 HCI 벤치 한번 돌려봐야겠습니다.

송주환 2023-04

기대되네요. 기다리고 있겠습니다 :)

maronet 2023-04

제 랩은 서민형이라 NVMe 3.5T 하나를 TrueNAS에 iSCSI로 타겟잡아 써서 성능은 그닥...
다만 이렇게 구성하면 iSCSI로 얼마나 나오나 참고용으로 한번 해보려구요.

송주환 2023-04

아, ESA가 아니라 iSCSI 타겟이군요.
그렇다면 나중에 iSCSI와 NVMe/TCP를 비교해보는 것도 괜찮을 것 같습니다.

김현린 2023-05

역시 대단하십니다 ㄷㄷ

maronet 2023-05

NFS 서버쪽 구성 : esxi 6.7호스트(40g nic)에서 TrueNAS VM(NVMe SSD 패스스루 + CPU 8core + RAM 16G)
우선 vSphere 8.0 3 노드(nic 10g)에 NFS 데이터스토어 마운트하고, 각 노드에 fio 노드용 VM 생성했습니다.
fio는 --size=4Gb --rw=read --bs=1M --direct=1 --numjobs=4 --ioengine=libaio --iodepth=8 --group_reporting --runtime=60 --startdelay=60 옵션으로 돌렸구요.
순차 읽기라 그런가 장비 대역폭 잘 활용하고 있는 것 같습니다.
내일은 iscsi도 해보고 전체적으로 읽기, 쓰기, 읽기+쓰기 데이터 한번 다 뽑아보려구요.

All clients: (groupid=0, jobs=3): err= 0: pid=0: Mon May  1 12:29:36 2023
  read: IOPS=3541, BW=3542Mi (3714M)(208GiB/60024msec)
    slat (usec): min=66, max=14211, avg=118.73, stdev=37.44
    clat (usec): min=1625, max=169010, avg=27178.12, stdev=3449.07
    lat (msec): min=3, max=169, avg=27.30, stdev= 3.45
  bw (  MiB/s): min= 1434, max= 3273, per=66.04%, avg=2339.00, stdev=26.26, samples=954
  iops        : min= 1434, max= 3272, avg=2338.40, stdev=26.25, samples=954
  lat (msec)  : 2=0.01%, 4=0.01%, 10=0.02%, 20=1.48%, 50=98.21%
  lat (msec)  : 100=0.26%, 250=0.02%
  cpu          : usr=0.23%, sys=4.08%, ctx=166726, majf=0, minf=24721
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=100.0%, 16=0.0%, 32=0.0%, >=64=0.0%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.1%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    issued rwts: total=212588,0,0,0 short=0,0,0,0 dropped=0,0,0,0

송주환 2023-05

NFS는 random I/O에 약하더라구요. iSCSI가 그 점에서는 분명한 강점이 있을 것 같습니다 :)