2.5G 내부망 비대칭 질문 드립니다

율은커   
   조회 1095   추천 0    

 예전에 2.5G 내부망 구성 질문 드리고, 밑에 요약도처럼 서버 - 스위치 - 데탑 간에 2.5G 구축해서 사용하고 있습니다.

스위치는 알리발 2.5G 8포트+2SFP+를 사용하고 있고, 서버 2.5G NIC는 RTL8125B 칩셋 사용하는 알리 랜카드를, 데스크탑은 RTL8125BG를 사용하는 메인보드에 있는 포트를, 초록색 부분은 모두 cat.6A 랜선을 사용했습니다.

(HPE 서버 iLO에서도 NIC에서는 정상적으로 인식됐고, 슬롯 자체는 PCIe 3.0 x16이지만, 장치 관리자에서 확인하니 2.0에 x1로 사용하고 있었습니다.)

(서버는 Windows Server 2019 1809버전 + 2x Xeon E5-2630 v3 + 32GB 램 + SSD는 970 EVO Plus입니다.)

(데스크탑은 Windows 11 Home 24H2 + Ryzen7 9700X + 32GB 램 + WD SN850X입니다.)




(내부망 IP가 서버가 0.4 / 데탑이 0.5 입니다.)



서버와 데탑 사이에 2.5G급 SMB를 사용하기 위해서 스위치를 샀고,

  • 서버에서 폴더를 만들어서 공유했고, SMB 3.1.1의 연결을 확인


  • 서버와 데스크탑 모두 M.2 NVMe SSD를 사용하고, CrystalDisk로 확인하니 순차읽기 및 쓰기는 모두 2GB/s 이상의 속도를 확인

위 2가지를 확인 후 대용량 영상 파일로 속도 테스트를 하니, 업로드는 110MB/s 정도, 다운로드는 200MB/s 정도만 나오는 것을 확인했습니다.


2.5G를 단순 변환하면 320MB/s의 속도가 나와야 되는데, 100% 효율이 안 나온다는 것을 생각해도 업로드랑 다운로드의 속도가 2배 가까이 차이나는 이유를 잘 모르겠습니다....



단순한 네트워크만 문제인지 확인하려고 iptime bench 프로그램과 iperf3를 사용했는데,

(사진의 왼쪽이 서버에서 측정, 오른쪽이 데탑에서 측정한 결과값입니다.)

첫번째 사진이 0.4(서버) --> 0.5(데탑) / 두번째 사진이 0.5(데탑) --> 0.4(서버)의 속도가 저렇게 차이났고,

서버 to 데탑이 최대 속도 자체는 높았지만 기영이 머리처럼 속도가 오락가락했습니다...?


iperf3에서 첫번째는 데탑 --> 서버 2.5G  //  두번째는 서버 2.5G --> 데탑  //  세번째에서는 참고용으로 데탑 --> 서버 1G

첫번째에서는 2.5G에 비해서 50% 정도의 속도가 나왔고, 두번째는 75~80% 정도의 속도가, 세번재는 93% 정도의 속도가 나왔습니다.



위의 SMB에서 속도가 느린 게 네트워크 자체의 속도가 느려서인 건 알겠지만,

왜 내부망인데도 속도가 90% 가까이 안 나오고 50% or 80% 정도 밖에 안 나오는지가 궁금하고, 혹시 다른 해결방법이 있다면 알려주시면 감사하겠습니다.

혹시 서버 하나에 iLO/1GbE/2.5GbE가 다 있나요?
     
율은커 04-05
네넵, NIC가 3개가 있습니다
          
iLO는 호스트가 다르니까 관계없을 것 같고.. 1GbE/2.5GbE는 둘 중 하나만 연결한 상태로 테스트해보시면 어떨까 싶은데요.
               
율은커 04-05
넵 감사합니다, 한 번 테스트해보겠습니다
iperf 테스트 때
서버측 1Gbps / 2.5Gbps 인터페이스별 별도 IP할당, source IP 설정해서 개별 통신 구간별
정상여부 확인도 진행해보셔야 될 것 같습니다.

동일 IP대역, 스위치 arp-table clear 이상 동작등의 사유로
asymmetric traffic 발생이 의심되서요~
     
율은커 04-05
혹시 지금은 공유기에서 192.168.0.x를 받아서 스위치에서도 해당 IP 대역을 사용 중인데, 말씀하신 동일 IP대역이 해당 부분도 포함인가요??
박문형 04-04
2.5G 네트웍은 나올 때부터(아마 나온지는 8년 가까이 되었을겁니다..) 속도 이슈가 계속 나왔고 인텔은 이것때문에 칩셋을 3번이나 새로 만들었지만

아직 불만있는 사람이 있을수 있습니다..(2.5G에 대해서는 인텔보다 리얼택이 낫다는게 거의 정설로 굳어지고 있습니다..)

그런데 2.5G에서 문제 있다는 랜카드들 속도를 1G로 내리면 아무 문제없이 잘 동작하는 경우가 대부분입니다..

그나마 리얼텍이 인텔보다 속도가 잘 나오는 편이라 조금은 낫지만 개인적으로 보기에는 완벽히 해결되었다라고 보기는 힘듭니다..

2.5G 리얼택 칩셋 4포트 스위치는 아마 대략 나온지 3년 쯤 되는 듯 합니다.. 2년전부터인가 저렴한 가격에 사람들의 관심이 높아졌습니다..




위의 질문 내용으로만 보아서는 저는 원인이 무엇인지 잘은 모르지만



#1 : 만일 컴퓨터 대 컴퓨터로 1대1 연결시 (스위치 허브 빼고)속도가 어떻게 되는지 확인해보세요..

        직결시 속도가 원하는 만큼 나온다면 스위치허브가 제성능이 안나온다고 볼 수도 있습니다..

#2 : UTP 케이블이 어디 것인지 잘 모르지만  짧은 길이의 케이블로 바꾸었을때 속도를 비교해보세요..

      UTP 케이블은 제조사마다 가격도 다르고 품질도 달라서 가끔 케이블이 원인이 될 수 있습니다..

      국내에서 개인 사용자 개념에서는 LS전선의 부품으로 만든 케이블이 거의 최상급으로 볼 수 있습니다..

      2.5G는 사실 옛날의 UTP 케이블을 최대한 활용하고자 만든 규격이라 CAT 5E 이상의 케이블이면 보통 문제가 없을 것입니다..

      케이블은 전문제조자가 만들고 랜테스터기로 테스트 된 케이블이 그나마 믿을만 하며 CAT6 이상은 만들어진 것을 구매하는 것이 편합니다..

 #3 : 두 개의 컴퓨터의 OS를 통일시켜 보세요..

        OS와 드라이버의 문제인데 개인적으로는 윈11은 아직 불안하다는 생각이 있습니다..

          개인적으로 윈도우즈는 Pro 버젼이 기본이다라는 생각이 있습니다..

#4 : 랜카드 드라이버를 바꿔보던지 두군데 드라이버 버젼을 통일시켜 보세요..

      RTL8125BG는 개인적으로 보기에는 서버용 랜카드는 아니여서 서버용 OS드라이버가 재대로 있을지 모르겠습니다..

      보통 마더보드에서 지원되는 드라이버는 그나마 마더보드 제조사에서 테스트를 하고 나온 것이라 조금은 나을수 있습니다..

      https://www.realtek.com/Download/List?cate_id=584

      칩셋 제조사의 최신 드라이버 링크입니다..
     
율은커 04-05
오 넵넵 감사합니다, 주말 지나고서 다시 시도해보겠습니다!
dateno1 04-05
2.0이라 그런겁니다

2.0으로 2.5G 못 뽑아요
     
이선호 04-05
넘치도록 뽑습니다.

          
dateno1 04-05
전에 구형 보드에서 시험할떄 PCIe 버전 낮으니 걸리던 속도 제한이 저정도였습니다

아니면 기억이 좀 틀려서 1.1에서 저정도가 상한이었던걸 수 도 있습니다
     
PCIe 2.0 1레인으로 설치된 10GbE 카드로 5Gbps 나오는 것을 확인했습니다.
     
율은커 04-05
아 대역폭 가능성도 있긴한가보네요
          
dateno1 04-05
문제되었던 보드가 1.1인지 2.0인지 생각이 안 나네요

다시 계산해보니 2.0이면 괜찮을꺼같네요

스레드도 줘보고, 스위치 안 거치고 직결도 해보세요

참고로 2.5G 최대로 뽑으면 ~280메가정도까지 나와요
박문형 04-05
https://file.elecfans.com/web2/M00/44/D8/poYBAGKHVriAHnfWADAT6T6hjVk715.pdf

칩셋 스팩이 PCIe Gen 2.1에 X1 이라서 이 부분은 어쩔수 없을 듯합니다..

https://www.youtube.com/watch?v=zz6k1ZvDndY

https://www.braillealphabetsoup.com/iocrest-pci-e-25gbps-nic-rtl8125b-benchmark.html

위의 두개의 링크는 RTL8125B 랜카드를 밴치마크한 것입니다..

iPerf 는 명령어 주기에 따라 결과가 완전 다르게 나오는 경우가 있기에 위 두개의 링크에서 어떤 명령어를 주어 테스트 하였고

그것을 지금의 셋팅된 시스템에 넣고 돌려보아 해당 링크의 결과 값과 비슷하게 나오는지 확인해보세요..
     
율은커 04-05
아 명령어랑 상관이 좀 있긴하군요... 랜카드를 살 때 칩셋을 봤어야 됐는데 8125끼리는 다 비슷한 줄 알고 샀던 것 같네요ㅋㅋㅋㅋㅋ
이선호 04-05
수치상 2.3Gbps 이상 나와야합니다.
PCI-e 2.0 1x가 500MBps (4Gbps)입니다. 업다운 동시에 풀로 땡길게 아닌 이상 절대 대역폭이 부족하진 않습니다.
저희 환경에서는 SMB 전송시 실측 속도는 280MBps 전후이고, 2.4Gbps~2.5Gbps 꾸준히 사용하고 있습니다. 오버헤드를 감안했을 때 매우 정상적이죠.

1. 케이블이 좋지 않을 경우.
2. 다른 응용프로그램이 점유하고 있을 경우.

Cat6이냐 아니냐가 중요하지 않습니다. 100mhz를 사용하는 기가비트와 달리 2.5Gbps는 주파수 폭이 넓습니다. 저가형 케이블을 사용할 경우 단자쪽 접불이 자주 나옵니다. 알루미늄에 구리도금을 사용한 저가형 케이블들은 선 오류도 자주 나구요. LS나 괜찮은 품질의 케이블을 사용해야 합니다.

다른 SW에서 점유하고 있을 경우에도 비슷한 문제가 발생할 수 있습니다.
홈서버가 Svr2019이고 데스크탑이 W11입니다. 2.4~2.5Gbps 아주 잘 뽑고 있습니다. 홈서버 랜카드는 MB 내장 쿼드포트 i210, i211 + 알리 2.5Gbe Dual 외장으로 사용하고 있고 현재도 잘 사용하고 있습니다.
     
율은커 04-05
예전에 다른 케이블일 때는 조금 높았던 기억이 있는 것 같은데ㅋㅋㅋㅋㅋ
일단은 직결로 케이블이 문제인지 확인해보고, 다른 프로그램이나 스위치 문제인지도 확인해봐야겠네요ㅋㅋㅋ
감사합니다!!
     
율은커 04-05
추가로 혹시 실측 속도가 읽기쓰기? 그 양쪽 환경에서 다 2.3Gbps 이상으로 나오시는건가요??
          
maronet 04-05
저도 경험상 케이블 확인 추천합니다. 양쪽 연결 속도도 확인해보시구요.
     
maronet 04-05
그러게요. PCIe 버전과 상관 없이(대역폭 충분해서) 속도 잘 나오는데 왜 그쪽 얘기가 많은가 모르것습니다.
          
Parabellum 04-05
+1
     
the촌놈 04-05
+1
박문형 04-05
그 외 질문에서 사용하시는 카드가 어떤 것인지는 모르겠지만 칩셋이 은근히 열이 나는 제품으로 알고 있습니다..

방열판이 달린 카드라면 보통 별문제 없지만 그렇지 않다면 열이 축적되어 성능을 떨어뜨릴 수도 있습니다..


마더보드에 온보드 된 것은 우선 제외 합니다..

마더보드 제조사에서 기본적으로는 테스트를 하고 나왔다고 보아야 할 것입니다..
     
율은커 04-05
서버 안에 팬이 많아서 발열 제어가 잘 되는 것 같긴하던데, 고성능 랜카드는 그런 부분도 감안해야 될 것 같긴하네요...
박문형 04-05
https://www.intel.com/content/www/us/en/products/details/ethernet/gigabit-network-adapters.html

인텔 2.5G 칩셋을 확인해보았는데 i225 /i226 칩셋이 현재 릴리즈 되어 있으며 인텔 레퍼런스 랜카드도 판매가 되네요..

인텔 오리지날 랜카드는 리얼택에 비해서는 한가격 할 겁니다..

칩셋 스팩을 확인해보았는데 PCIe Gen 3.1 1X 로 되어 있습니다..

리얼택보다는 PCIe Gen에서는 한단계 높네요..
     
율은커 04-05
오 새로운 랜카드는 3.1로 올랐군요ㅋㅋㅋㅋ
알아봐주셔서 감사합니다!


제목Page 1/107
2017-08   11119   버프엔지니…
2018-01   12692   관중
2021-09   4750   모맵
2021-11   5541   UDION52
2021-12   5023   김은호
2024-11   4442   박건
2019-03   6506   아싸맨
2020-08   4015   구고기
2021-01   4393   boy1617
2021-06   3808   오시아스
2022-02   4762   UDION52
2022-10   8141   엄청난x
2022-12   11018   성격미남
2023-01   6574   늅늅늅이
2023-05   19865   송주환
2023-11   6990   산수익힘책
2019-09   5866   10기가T
2022-08   8813   seoforce
2023-05   18601   LosAngeles
2023-08   13243   클래식