쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
안녕하세요. 날씨가 오락가락 맑네요. 모두들 퇴근은 잘 하셨나요.
제목과 같은 현상을 발견하여 질문드립니다.
[ TEMP]#
[ TEMP]# dd if=/dev/zero bs=512 count=2048 of=/mnt/common/RWTEST01/test01.dat oflag=direct
2048+0 records in
2048+0 records out
1048576 bytes (1.0 MB, 1.0 MiB) copied, 13.6833 s, 76.6 kB/s
[ TEMP]# dd if=/dev/zero bs=1024k count=1 of=/mnt/common/RWTEST01/test01.dat oflag=direct
1+0 records in
1+0 records out
1048576 bytes (1.0 MB, 1.0 MiB) copied, 0.0103539 s, 101 MB/s
[ TEMP]#
[ TEMP]# dd if=/dev/zero bs=1024 count=1024 of=/mnt/common/RWTEST01/test01.dat oflag=direct
1024+0 records in
1024+0 records out
1048576 bytes (1.0 MB, 1.0 MiB) copied, 6.71534 s, 156 kB/s
[ TEMP]#
보시면 아시겠지만, 속도테스트 한 내용입니다.
/mnt/common 이라는 디렉토리는 다른 머신에서 nfs mount 한 겁니다.
즉, 서버 A B 두개가 있는데, /mnt/common 이란 폴더를 A 에 만들고, B 는 nfs 로 A:/mnt/common 을 mount 한 거죠.
A , B 두 개의 서버에서 자료를 공유하기 위해 + 프로그램 실행시 폴더 경로를 맞추려고 만든겁니다.
근데, 작업자가 B 서버 에서 A:/mnt/common 에 cfg 파일을 write 했는데, 느리다는 겁니다.
cfg 파일이라 용량이 별로 안 큰데, 꽤 오래 걸리더라는 거죠.
이상해서 dd 명령으로 재 봤더니, 왠걸... 초당 100kB 가 나오더라는 겁니다.
저게, A 서버의 /mnt/common 은 NVMe 이고, 네트워크는 10g 에 동일망으로 물려있고, 동일 대역 IP 사용이라서, 네트워크나 disk 쪽 문제가 아닐 거 같아서 헤메다가, 혹시나 해서 bs값을 변경해 봤더니 ,
1024kB 를 한 번에 쓰면 속도가 101MB/s 가 나와버립니다.
뭐가 문제일까요? 혹은 키워드를 뭘로 검색하면 될까요? 어떤 향으로 해결해 나가면 될까요?
짐작 가는 내용을 말씀해 주시면 도움이 되겠습니다.
이상입니다. 모두들 즐거운 하루 되시기 바랍니다. 감사합니다.
네트워크 스토리지는 데이터를 패킷으로 바꾸고 그 패킷으로 받아서 다시 데이터로 바꾸기에 서버에 붙어 있는 DAS 개념의 스토리지와는 동작 방식이 다릅니다..
그리고 어느 OS든 네트워크로 자잘한 파일을 여러개 많이 보내고 받게 되면 네트워크에 부하가 더 걸립니다..
그 외 네트워크 스위치도 동작함에 있어 다른 서버에서 부하가 있기에 그래서 성능이 떨어져 보일 수 있습니다..
블록 사이즈를 크게 잡으면 한번에 넘어가는 사이즈가 커져서 그만큼 빨라지고..
작게 잡으면 여러번 왔다 갔다 해야해서 오래 걸립니다.
block size 가 작으면 말씀하신대로 패킷 전후처리가 끼니까, 속도가 떨어지는게 맞겠네요.
nsf 옵션이나 exports 설정을 봐야 할 거 같은데, 뭘 검색어로 찾아봐야 할 지 자체를 몰라서
좀 더 뒤져봐야겠습니다.
답변 감사드립니다. 즐거운 하루 되시기 바랍니다.
nfs로 마운트해서 로컬 시스템에 /mnt/common으로 올라오는 순간 그냥 하나의 파일로 다루어집니다.
dd는 인풋 파일(if)애서 아웃풋 파일(of)로 옮겨갈 뿐입니다.
그래서 dd 자체에는 네트워크와 관련된 그 어떤 옵션도 존재해야할 이유가 없습니다.
그러니 10G 네트워크망을 100G가 교체하거나 혹은 어떤 명령어나 옵션 혹은 직접 코딩을 해서 10G 망에서 속도를 높일수 있는 방법을 찾지 않는 이상은
dd 자체에서는 블록 사이즈를 조절하는 것 말고는 속도를 개선할 방법은 없습니다.
그래서 HDD 보단 낫지만 SSD/NVMe 쪽도 4k 성능이 느리죠
4k는 4096 byte 인데 그보다 작은 512byte 단위로 쓰면
nand 한 블럭당 256KB 정도 라고 가정하면, 256KB삭제하고 512 byte를 추가해서 쓰는 식으로 과거에는 사용했고
요즘은 컨트롤러가 좋아져서 남는 블럭이 있으면 256KB + 512 내용을 추가해서 쓰고 기존 블록은 미사용으로 둔 다음
다음 trim 시간때 미사용 블록을 지우는데, 빠르게 쓰면 남은 블록이 줄어들면서 지우고 써야 하다 보니 극도로 느려질수 밖에 없을 겁니다.
이론적으로는 NAND 플래시와 MTD(Memory Technology based Device) 관련 블록 사이즈 및 erase / write 정책을 찾아 보시면 도움이 되실것 같습니다.
그리고 네트워크로 nfs 마운트 하게 되면
MTU가 1500 byte 정도이긴 한데..
한 데이터랑 패킷이 다량발생하게 될 것이고 플래시 쪽 병목이 우선적으로 발생하지 않을까 합니다.
그리고 소켓도 전송에 맞는 크기보다 작으면 일정 시간 이후에 전송되는 경우있긴 한데.. NFS라서 검증되어서 그러진 않을 것 같습니다.