linux¿ë 10gbps Åë½Å Áú¹®
https://www.intel.com/content/dam/support/us/en/documents/network/sb/¡¦ (881)
안녕하세요,
최근에 10gbps 홈네트웍을 구축하면서 속도가 300MiB/s(2.5Gbps) 밖에 안나와서 질문을 올립니다.
일단 서버가 아래와 같이 있는데요
서버1: CPU Epyc 24C48T, RAM 128GiB ECC, NVMe 4TB, intel X550 10G x 2 온보드, Ubuntu server 18.04
서버2: Core i9 9900T 8C16T, 32GiB, NVMe 1TB, intel X540 x2 pci-e, Ubuntu server 20.04
서버3: Ryzen 3400GE 4C8T, 32GiB ECC, NVMe 512GB, intel X550 x2 온보드, Ubuntu server 18.04
세 서버간 CAT 8 (산와서플라이) 랜선으로 서로 직열하고 10.1.1.* 대역으로 이더넷을 구축했어요. (중간에 스위치는 없습니다)
그런데 임의의 서버 두대로 3GiB 용량의 파일을 scp, rsync등으로 전송을 해봤는데 전부 280-290MiB/s 에서 올라가지 않습니다.
검색해보니 scp, rsync등으로 전송할 경우 엄한데서 오버헤드(저의 사양을 보시면 알겠지만 오버헤드가 여기서 문제일것 같진 않지만 ..)가 생길 수 있고 ssh 기반으로 전송하는것 자체가 문제라는 둥 정확한 답은 찾지 못했습니다.
정확히 무슨 문제 인지 잘 파악이 안되어 질문을 올립니다.
1) 랜카드 문제: 세 기기의 랜카드가 동시에 고장이 아닌 이상 아닌것으로 보입니다.
2) 저장소 bottleneck: 전부 3000-5000MiB/s의 전송속도를 가지는 NVMe이라 이 문제도 아닌것 같습니다. FS도 btrfs, zfs, ext4등 다양하게 해봤지만 차이가 없었습니다.
3) ubuntu netplan/network interface 설정 문제: 이 부분은 제가 문외한이라 여러 옵션들을 만져봤지만 변화가 없었고 일단 더 공부가 필요한 상황입니다.
4) 랜선 문제: 산와서플라이 CAT 8 랜선입니다. 다른 CAT 7 랜선으로 바꿔봤지만 똑같이 280-290MiB/s에서 멈춥니다.
5) 전송 소프트웨어 문제: scp, rsync를 주로 이용하는터라 다른 툴을 잘 몰라 이쪽도 여쭤보고 싶습니다, 10G에서 전송수단으로 쓰는 툴이 따로 있을까요?
감사합니다.
P.S. 링크에 조금 옛날 자료이긴 한데(10년전) 인텔의 10Gbps 상황별 툴별로 성능 차트를 만들었더군요 ... 여기에서도 scp, rsync 가 기본적으로 암호화때문에 속도가 저하되는 문제가 있었지만 ... 지금도? 여전히 이런가 갸우뚱하군요 ..
¾îÁö°£Çϸé 10G ³ª¿É´Ï´Ù
https://ostechnix.com/quickly-transfer-large-files-network-linux-unix/
netcatÀ̶û pv¸¦ »ç¿ëÇÏ´Ï 1000MiB/s°¡ ³ª¿À´Â±º¿ä ...
¾Æ¹«·¡µµ scp´Â ±Ùº»ÀûÀÎ ÇÑ°è°¡ ÀÖ´Â°Í °°±º¿ä
µû·Î ±¸ÇöÇؼ ½á¾ß °Ú½À´Ï´Ù ¤¾¤¾
epowergate´Ô ¸»¾¸´ë·Î netperf °°Àº ´ë¿ªÆø º¥Ä¡¸¶Å©¿ë ÅøÀ» ÀÌ¿ëÇؼ Å×½ºÆ® Çغ¸½Ã°Å³ª
´Ü¼øÇÏ°Ô ftp³ª nfs ·Î ºÙ¿©¼ Å×½ºÆ® Çغ¸½Ã±â ¹Ù¶ø´Ï´Ù.
SSH¿¡¼ ¾Ïȣȸ¦ arcfour·Î Á¦ÇÑÇϸé Á¶±Ý ³ª¾ÆÁö±ä Çϴµ¥ ¾Æ¹«·¡µµ ¾ÏÈ£È ÀÚü°¡ ´À·Á¼ 10G ¼Óµµ¸¦ ´Ù »Ì¾Æ³»±â Èûµé°Å¶ó°í º¸¿©Áý´Ï´Ù.
ssh·Î ÇÒ¶§´Â 10G Àü¼Û ±¸°£¿¡¼ ¸Æ½º 50M Á¤µµ ³ª¿À´ø°ÍÀÌ ftp·Î ÇÏ´Ï 300M Á¤µµ·Î ³ª¿À´õ±º¿ä.
¿ë·®ÀÌ ÀÛÀº ºÎºÐÀº ssh ·Î ÇÏ´õ¶óµµ ¹®Á¦°¡ ¾øÁö¸¸, ´ë¿ë·®ÀÇ DATA¹é¾÷Àº ftp °¡ Á¦ÀÏ ÁÁ´õ±º¿ä.