TCP프로토콜 NFS(ㄱ)와 RDMA프로토콜 NFS(ㄴ)를 비교하여 보았습니다.
작은 블록사이즈(1k)의 fio 명령 수행 결과(a)는 RDMA프로토콜(b)이 TCP프로토콜(c) 보다 약 2.3배의 속도로 측정되었습니다.
하지만,
큰 블록사이즈(128k)의 fio 명령 수행 결과(b)는 TCP프로토콜(f)이 RDMA프로토콜(e) 보다 약 1.25배의 속도로 측정되었습니다.
RDMA프로토콜이 항상 더 높은 속도를 낼 것이라 생각했는데,
TCP프토토콜이 더 높은 속도가 나온 것이 이상합니다.
RDMA프로토콜과 TCP프로토콜의 wsize와 rsize가 다른데 이것 때문일까요?
TCP프로토콜은 NFS wsize/rsize 최대값인 1MB로 되어 있는데,
RDMA프로토콜은 wsize/rsize 최대값이 변경이 안됩니다(ㄷ).
긴 글 읽어주셔서 감사합니다.
(ㄱ) TCP프로토콜 NFS 마운트.
mount -t nfs 10.2.43.1:/mnt/disk1/data1 /mnt/nfs/
(ㄴ) RDMA프로토콜 NFS마운트.
mount -t nfs -o proto=rdma,port=20049 10.2.43.1:/mnt/disk1/data2 /mnt/nfs/
(ㄷ) RDMA프로토콜 NFS마운트 및 rsize/wsize 값 변경 시도( 변경 안됨).
root@pxnode3:/mnt# mount -t nfs -o proto=rdma,port=20049,wsize=1048576,rsize=1048576 10.2.43.1:/mnt/disk1/data2 /mnt/nfs/
root@pxnode3:/mnt# mount | grep nfs
10.2.43.1:/mnt/disk1/data2 on /mnt/nfs type nfs4 (rw,relatime,vers=4.2,rsize=524288,wsize=524288,namlen=255,hard,proto=rdma,port=20049,timeo=600,retrans=2,sec=sys,clientaddr=10.2.43.2,local_lock=none,addr=10.2.43.1)
(a) 블록사이즈 1k
fio -rw=randrw --bs=1k --numjobs=4 --iodepth=8 --runtime=30 --time_based --loops=1 --ioengine=libaio --direct=1 --invalidate=1 --fsync_on_close=1 --randrepeat=1 --norandommap --exitall --name task1 --filename=/mnt/nfs/fio-test.dat --size=10000000
(b) 명령어(a) 를 이용한, RDMA 결과. 약 68MB/s
Run status group 0 (all jobs):
READ: io=2538.9MB, aggrb=86655KB/s, minb=21654KB/s, maxb=21682KB/s, mint=30001msec, maxt=30001msec
WRITE: io=2539.7MB, aggrb=86683KB/s, minb=21653KB/s, maxb=21690KB/s, mint=30001msec, maxt=30001msec
(c) 명령어(a) 를 이용한, TCP 결과. 약 29MB/s
Run status group 0 (all jobs):
READ: io=870393KB, aggrb=29011KB/s, minb=7235KB/s, maxb=7267KB/s, mint=30001msec, maxt=30002msec
WRITE: io=870814KB, aggrb=29025KB/s, minb=7241KB/s, maxb=7268KB/s, mint=30001msec, maxt=30002msec
r(d) 블록사이즈 128k
fio -rw=randrw --bs=128k --numjobs=4 --iodepth=8 --runtime=30 --time_based --loops=1 --ioengine=libaio --direct=1 --invalidate=1 --fsync_on_close=1 --randrepeat=1 --norandommap --exitall --name task1 --filename=/mnt/nfs/fio-test.dat --size=10000000
(e) 명령어(d)를 이용한, RDMA 결과. 약 724MB/s
Run status group 0 (all jobs):
READ: io=21226MB, aggrb=724457KB/s, minb=176717KB/s, maxb=184922KB/s, mint=30002msec, maxt=30002msec
WRITE: io=21265MB, aggrb=725805KB/s, minb=178714KB/s, maxb=183019KB/s, mint=30002msec, maxt=30002msec
(f) 명령어(d)를 이용한, TCP 결과. 약 909MB/s
Run status group 0 (all jobs):
READ: io=26648MB, aggrb=909489KB/s, minb=226267KB/s, maxb=229071KB/s, mint=30002msec, maxt=30003msec
WRITE: io=26732MB, aggrb=912361KB/s, minb=226895KB/s, maxb=228943KB/s, mint=30002msec, maxt=30003msec
TCP/UDP/ICMP/GRE/… 기타등등 이런걸 프로토콜이라고 하고 RDMA는 기능에 속하는걸로 아는데 이걸 왜 프로토콜이라는 규격으로 칭하는지 그걸 묻는겁니다.
Overview에 "The Remote DMA (RDMA) protocol allows efficient....."라고 씌어 있네요.
답은 manpage 보시면 나와있습니다.
그리고 rdma는 protocol 맞습니다. Dma가 프로토콜인데 rdma가 아닐리가 없죠.
그런데 메모리 리다이렉트는. 뭘까요?
그러면 rdma 기반으로 프로그래밍도 나와야 됩니다.
일단 Protocol이 꼭 Network 통신규약만은 아닙니다. SATA Controller와 SATA DISK간의 규약도 Protocol 입니다. CPU의 Register <=> L1 Cache <=> L2 Cache ...도 모두 Protocol 입니다.
살짝 바꿔서 말하면 TCP/IP를 사용하는 Network 프로그램들치고 TCP를 가지고 개발하는걸 본적이 (거의) 없습니다. 사람들이 자신들이 대부분 통신 프로그램을 만들때 TCP/IP로 프로그램을 짠다고 사는데 TCP IP를 사용한다기 보다는 Socket Programming을 하는거죠. 그 SOCKET이 TCP를 사용하는 거구요.
그냥 단순하게 TCP를 그냥 그대로 사용하기 어렵기 때문에 그런겁니다.
RDMA도 규약이 있는데 사용하기가 거지 같습니다. 이스라엘넘들이 tutorial도 제대로 만들어 놓지 않았죠.
지금은 모르겠는데 예전에 제가 개발했을 때는 (2001~2003년) VAPI나 CM등을 가지고 RDMA Programming을 했었습니다.
그 후에 나온 i-Warp (IBM 표준일 겁니다)도 RDMA를 사용하는 API/SDK/Protocol이구요.
그냥 InfiniBand를 사용하r긴 해야하는데 기존 프로그램을 고치긴 어려우니 SDP나 IPoIB를 사용해서 RDMA를 사용한다고 했던 사람(회사)들도 있었습니다. (지금도 있습니다).
많이 사용하는 옵션들은 설명과 예시가 있는데 그렇지 않은 옵션들은 좀 부실하죠.
RDMA(Remote Direct Memory Access) 프로토콜은 고속 네트워크를 통한 메모리 간 데이터 전송용 기술입니다. 구체적으로, RDMA는 CPU를 사용하지 않고 메모리에서/메모리로 직접 원격 데이터를 전송하는 기능을 제공합니다. 또한 RDMA는 직접 데이터 배치 기능도 제공하므로 데이터 복사본이 없어져 CPU 작업이 더욱 줄어듭니다. 따라서 RDMA는 호스트 CPU의 부담을 줄일 뿐 아니라 호스트 메모리 및 I/O 버스에 대한 경합도 줄여 줍니다.
[출처] RDMA(Remote Direct Memory Access)|작성자 하늘아래
"RDMA(Remote Direct Memory Access) 프로토콜은 고속 네트워크를 통한 메모리 간 데이터 전송용 기술"
이 아니라
"메모리간 데이터 전송을 통한 고속 네트워크 기술"이 맞습니다.