XCP-ng에서 Storage는 iSCSI를 연동한 ZFS Repository를 사용하고자 합니다. 

이를 위해서 FreeNAS로 ZFS를 구성하였고, XCP-ng와 FreeNAS 서버간 iSCSI 연결을 통하여 XCP-ng에 Block 기반 스토리지를 구성하고, 여기에 CentOS 7.6 VM을 생성하여 DD 테스트를 수행하였습니다.

이 경우, Disk Write만을 단순 테스트하였고, XCP-ng에 배포된 VM (CentOS 7.6)에서의 Disk I/O가 FreeNAS 서버에서 직접 수행한 Disk I/O와 비교하여 현저하게 낮게 나오고 있습니다.

테스트 환경 구성 정보
++++++++++++++++++++++++++

- ZFS Storage: FreeNAS 11.2, 2TB HDD 12개로 RAIDZ2 구성, DC P3700 SSD 2개로 ZIL, L2ARC 각각 구성

- Virtualization: XCP-ng 7.6

- Network: 10GbE로 FreeNAS와 XCP-ng 서버간 Direct 연결 (iSCSI는 multipath를 구성하지는 않음)

- Storage volume: FreeNAS에서 1TB 크기의 zvol를 생성 (blocksize=128k)하고 이를 iSCSI 서비스에 할당 (LUN 등록)하고 SCP-ng에서 iSCSI 기반 Storage를 생성함 (이때 Storage type은 LVM over iSCSI로 생성되네요).

iperf3를 이용한 Network 테스트 내용
+++++++++++++++++++++++++++++++++++++

XCP-ng Dom0에서 ZFS Storage인 FreeNAS 서버로 iperf3 테스트 (10GbE Direct 연결되어 있음).

[root@svms3 ~]# iperf3 -c 172.16.1.90
Connecting to host 172.16.1.90, port 5201
[  4] local 172.16.1.30 port 52690 connected to 172.16.1.90 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  1.15 GBytes  9.89 Gbits/sec    0    874 KBytes      
[  4]   1.00-2.00   sec  1.15 GBytes  9.88 Gbits/sec    0    874 KBytes      
[  4]   2.00-3.00   sec  1.15 GBytes  9.88 Gbits/sec    0    874 KBytes      
[  4]   3.00-4.00   sec  1.15 GBytes  9.88 Gbits/sec    0    874 KBytes      
[  4]   4.00-5.00   sec  1.15 GBytes  9.88 Gbits/sec    0    874 KBytes      
[  4]   5.00-6.00   sec  1.15 GBytes  9.88 Gbits/sec    0    874 KBytes      
[  4]   6.00-7.00   sec  1.15 GBytes  9.88 Gbits/sec    0    874 KBytes      
[  4]   7.00-8.00   sec  1.15 GBytes  9.88 Gbits/sec    0    874 KBytes      
[  4]   8.00-9.00   sec  1.15 GBytes  9.89 Gbits/sec    0   1.29 MBytes      
[  4]   9.00-10.00  sec  1.15 GBytes  9.88 Gbits/sec    0   1.29 MBytes      
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  11.5 GBytes  9.88 Gbits/sec    0             sender
[  4]   0.00-10.00  sec  11.5 GBytes  9.88 Gbits/sec                  receiver

iperf Done.

FreeNAS에서 DD Write 테스트
+++++++++++++++++++++++++++++++

root@snas9[/]# dd if=/dev/zero of=/mnt/hpool/ddfile1 bs=1024k count=16k
16384+0 records in
16384+0 records out
17179869184 bytes transferred in 8.845996 secs (1942106827 bytes/sec)

XCP-ng의 VM 내에서 DD Write 테스트

++++++++++++++++++++++++++++++++++++

[root@localhost /]# dd if=/dev/zero of=/ddfile1 bs=1024k count=16k
16384+0 records in
16384+0 records out
17179869184 bytes (17 GB) copied, 70.2106 s, 245 MB/s

위의 테스트 결과에서 소요된 시간으로 비교해 보면, 10GbE 네트웍으로 묶여 있는 상태에서 iSCSI 연동한 Disk I/O의 Write 성능이 ZFS Local에서의 Disk I/O보다 약 9배 정도 성능이 떨어지는 것으로 나타납니다.

문제 해결을 위한 조언좀 부탁드립니다. 저가 미쳐 놓치고 있는 부분이 있을것 같은데 몇일째 그 원인을 찾지 못하고 있네요.