linux¿ë 10gbps Åë½Å Áú¹®

tpp52   
   Á¶È¸ 5247   Ãßõ 0    

https://www.intel.com/content/dam/support/us/en/documents/network/sb/¡¦ (945)

 안녕하세요,

   최근에 10gbps 홈네트웍을 구축하면서 속도가 300MiB/s(2.5Gbps) 밖에 안나와서 질문을 올립니다.

   일단 서버가 아래와 같이 있는데요

   서버1: CPU Epyc 24C48T, RAM 128GiB ECC, NVMe 4TB, intel X550 10G x 2 온보드, Ubuntu server 18.04

   서버2: Core i9 9900T 8C16T, 32GiB, NVMe 1TB, intel X540 x2 pci-e, Ubuntu server 20.04

   서버3: Ryzen 3400GE 4C8T, 32GiB ECC, NVMe 512GB, intel X550 x2 온보드, Ubuntu server 18.04

   세 서버간 CAT 8 (산와서플라이) 랜선으로 서로 직열하고 10.1.1.* 대역으로 이더넷을 구축했어요. (중간에 스위치는 없습니다)

   그런데 임의의 서버 두대로 3GiB 용량의 파일을 scp, rsync등으로 전송을 해봤는데 전부 280-290MiB/s 에서 올라가지 않습니다.

   검색해보니 scp, rsync등으로 전송할 경우 엄한데서 오버헤드(저의 사양을 보시면 알겠지만 오버헤드가 여기서 문제일것 같진 않지만 ..)가 생길 수 있고 ssh 기반으로 전송하는것 자체가 문제라는 둥 정확한 답은 찾지 못했습니다.


   정확히 무슨 문제 인지 잘 파악이 안되어 질문을 올립니다.

   1) 랜카드 문제: 세 기기의 랜카드가 동시에 고장이 아닌 이상 아닌것으로 보입니다.

   2) 저장소 bottleneck: 전부 3000-5000MiB/s의 전송속도를 가지는 NVMe이라 이 문제도 아닌것 같습니다. FS도 btrfs, zfs, ext4등 다양하게 해봤지만 차이가 없었습니다.

   3) ubuntu netplan/network interface 설정 문제: 이 부분은 제가 문외한이라 여러 옵션들을 만져봤지만 변화가 없었고 일단 더 공부가 필요한 상황입니다. 

   4) 랜선 문제: 산와서플라이 CAT 8 랜선입니다. 다른 CAT 7 랜선으로 바꿔봤지만 똑같이 280-290MiB/s에서 멈춥니다.

   5) 전송 소프트웨어 문제: scp, rsync를 주로 이용하는터라 다른 툴을 잘 몰라 이쪽도 여쭤보고 싶습니다, 10G에서 전송수단으로 쓰는 툴이 따로 있을까요?


감사합니다.

P.S. 링크에 조금 옛날 자료이긴 한데(10년전) 인텔의 10Gbps 상황별 툴별로 성능 차트를 만들었더군요 ... 여기에서도 scp, rsync 가 기본적으로 암호화때문에 속도가 저하되는 문제가 있었지만 ... 지금도? 여전히 이런가 갸우뚱하군요 ..

ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
epowergate 2020-09
netperf³ª netpipe·Î Çغ¸¼¼¿ä
¾îÁö°£Çϸé 10G ³ª¿É´Ï´Ù
     
tpp52 2020-09
³× network¿¡¼­ directÇÏ°Ô ÇÏ´Ï ³ª¿À´Â°Í °°½À´Ï´Ù.
https://ostechnix.com/quickly-transfer-large-files-network-linux-unix/
netcatÀ̶û pv¸¦ »ç¿ëÇÏ´Ï 1000MiB/s°¡ ³ª¿À´Â±º¿ä ...
¾Æ¹«·¡µµ scp´Â ±Ùº»ÀûÀÎ ÇÑ°è°¡ ÀÖ´Â°Í °°±º¿ä
µû·Î ±¸ÇöÇؼ­ ½á¾ß °Ú½À´Ï´Ù ¤¾¤¾
±¸Â÷´Ï 2020-09
ssh ÀÚü¿¡¼­ ¾Ïȣȭ¸¦ AES·Î Çϴµ¥ CPU¿¡¼­ ¾Ïȣȭ ÇÏ´Â ¼Óµµ ÇÑ°è°¡ À־ ±× Á¤µµ°¡ ³ª¿Ã¼öµµ ÀÖ±ä ÇÕ´Ï´Ù.
epowergate´Ô ¸»¾¸´ë·Î netperf °°Àº ´ë¿ªÆø º¥Ä¡¸¶Å©¿ë ÅøÀ» ÀÌ¿ëÇؼ­ Å×½ºÆ® Çغ¸½Ã°Å³ª
´Ü¼øÇÏ°Ô ftp³ª nfs ·Î ºÙ¿©¼­ Å×½ºÆ® Çغ¸½Ã±â ¹Ù¶ø´Ï´Ù.
SSH¿¡¼­ ¾Ïȣȭ¸¦ arcfour·Î Á¦ÇÑÇϸé Á¶±Ý ³ª¾ÆÁö±ä Çϴµ¥ ¾Æ¹«·¡µµ ¾Ïȣȭ ÀÚü°¡ ´À·Á¼­ 10G ¼Óµµ¸¦ ´Ù »Ì¾Æ³»±â Èûµé°Å¶ó°í º¸¿©Áý´Ï´Ù.
     
tpp52 2020-10
³»ºÎ¿¡¼± ¾Ïȣȭ ¾ø´Â ¹æ½ÄÀÌ ÁÁ°Ú³×¿ä ¤¾¤¾
ÆÄÀÏÀü¼ÛÇÒ¶§ ¾Ïȣȭ ÇÁ·ÎÅäÄÝÀ» ¾²¸é ±×¸¸Å­ Àü¼Û¼Óµµ°¡ ¶³¾îÁý´Ï´Ù.
     
tpp52 2020-10
°í¼Ó ¹öÀüÀÌ ÀÖ±äÇϳª ÇÑÂü ´ë¿ªÆø ÇѰ踦 ¸ø ¹ÌÄ¡³×¿ä
ÀïÀÌ 2020-09
mtu´Â 9000À¸·Î ¼³Á¤Çغ¸¼Ì³ª¿ä?
     
tpp52 2020-10
mtu´Â ÀÌ·¡Àú·¡ º¯°æÇغ¸¾ÒÀ¸³ª ±× ¹®Á¦´Â ¾Æ´Ñµí ÇÕ´Ï´Ù.
ºý½Ã´Ù 2020-09
ȸ»ç¿¡¼­ ¹é¾÷À» ÁøÇà½Ã ssh ·Î ÇÏ´Ù°¡ ftp·Î º¯°æÇÏ¿´½À´Ï´Ù.
ssh·Î ÇÒ¶§´Â 10G Àü¼Û ±¸°£¿¡¼­ ¸Æ½º 50M Á¤µµ ³ª¿À´ø°ÍÀÌ ftp·Î ÇÏ´Ï 300M Á¤µµ·Î ³ª¿À´õ±º¿ä.
¿ë·®ÀÌ ÀÛÀº ºÎºÐÀº ssh ·Î ÇÏ´õ¶óµµ ¹®Á¦°¡ ¾øÁö¸¸, ´ë¿ë·®ÀÇ DATA¹é¾÷Àº ftp °¡ Á¦ÀÏ ÁÁ´õ±º¿ä.
     
tpp52 2020-10
´Ü¼øÇÑ ¹æ½ÄÀÌ Á¦ÀÏ ºü¸¥°Í °°¾Æ¿ä ¤¾¤¾


QnA
Á¦¸ñPage 3024/5689
2015-12   1546609   ¹é¸Þ°¡
2014-05   5010943   Á¤ÀºÁØ1
2006-01   5246   ±è¿µ±â
2016-04   5246   ¾îÄg
2006-06   5246   ±ÇÈñ¼®
2019-07   5247   ¾È±Ô¹Î
2008-02   5247   ³ëÇϼ®
2008-05   5247   ³ëÇϼ®
2014-10   5247   ±è°Ç¿ì
2013-07   5247   ȸ¿øK
2014-03   5247   ¹ÙÀÌ·¯½º1
2008-07   5247   ¹ÚÀ§·Õ
2008-11   5247   À庴µÎ
2008-02   5247   ¿À¼º±â
2008-11   5247   ÀÓÁø¿í
2016-06   5247   ÀÌÇØÂù
2006-06   5247   ±èÁø¼®
2005-11   5247   ¹ÚÁØ¿ë
2008-11   5247   ±è»óÀÏ
2016-01   5248   ¿ÀÁØÈ£5
2013-10   5248   Á¤Ã¢Áø
2017-04   5248   µé°í¾çÀÌ