분노의다운힐 01-23

Form-factor를 소형화하기 위해서 SFP(+) 4개를 묶어서 QSFP(+) 포트로 내보내는 카드입니다. 아마 실제로는 25(28)Gbps MAC/PHY가 4쌍이 구현된 카드일겁니다. 그걸 하나로 묶는 것은 LACP의 도움을 받을 수 있을 것도 같고.. driver 구현에 따라 그냥 하나처럼 동작시키는 것도 얼마든지 가능할 것 같아요. 개별 frame에 대해서 100Gbps 속도를 낼 수는 없겠지만 burst rate를 100Gbps로 하는 것은 가능하겠지요.
단일 링크로 100Gbps를 내는 NIC가 있는지는 모르겠네요. 포트가 QSFP28이라면 4개 링크를 사용하는 방식입니다.

윤건 01-23

4x25Gb 1port NIC라고 하면 QSFP28 규격의 포트가 한개 있는 것인데
"QSFP"라는 단어에서  "Q"가 의미하는 것이 Quad, 즉 4개 입니다.
QSFP+ (40Gb)는 SFP+(10Gb) 4개가 하나로 합쳐진 것이고
QSFP28 (100Gb)는 SFP28(25Gb) 4개가 하나로 합쳐진 것입니다.
그래서 QSFP는 한개의 포트로 40G 또는 100G로 사용할 수 도 있지만

http://www.mellanox.com/related-docs/prod_cables/PB_MC6709309-xxx_8_Fiber_MPO_to_4_x_2_Fiber_Duplex_LC_Passive_Optical_Splitter.pdf
https://www.mellanox.com/related-docs/prod_cables/PB_MFA7A50-Cxxx_100GbE_QSFP28_to_4x25GbE_SFP28_MMF_AOC.pdf
위와 같은 splitter 케이블을 이용해서 한개가 아니라 4개의 포트로 사용이 가능합니다.
스위치에서는 간단히 설정 명령어 하나로 변경이 되지만 NIC에서는 펌웨어단에서 설정이 필요할 수도 있습니다.

일반적으로 Ethernet이든 Infiniband든 싸구려 제품이 아닌 이상 하드웨어 적으로 명시되어 있는 40G, 100G의 대역폭이 Fully 지원은 되지만
(packet 처리량은 장비의 스펙에 따라서 천차만별입니다.)
실제 iperf 같은 툴로 테스트해보면 100Gbe NIC의 경우 일반적으로 40~50 Gb 대역폭 밖에 나오지 않습니다.
이는 하드웨어가 아닌 OS의 Kernel단에서 병목이 걸려서 그렇습니다. 그리고 어떻게 튜닝을 해서 벤치마크 상으로는 더 높은 대역폭이 측정이 되더라도
실제 사용을 해보면 그만큼의 대역폭이 나오지 않는게 일반적인데 이는 아직 소프트웨어 단에서 그만큼의 성능을 내지 못하는 경우가 대부분입니다.
(10G가 처음 나왔을 때도 실제 사용해보면 200~300MB/s 정도 성능밖에 안나왔지만, 현재 10G 정도는 별다른 튜닝없이도 대부분의 프로그램에서 풀스피드가 지원이 됩니다.
리눅스에서 rsync로 데이터를 전송해보면 200 MB/s 정도 밖에 속도가 나오지 않지만, bbcp 같은 프로그램에서는 10G 풀스피드가 나옵니다.)

네트워크쪽에서는 하드웨어의 발전에 비해서 아직 전반적으로 소프트웨어들이 못 따라가고 있는 상황이어서
그것을 타개하기 위해  UIO, RDMA, SolarFlare의 OnLoad 또는 TcpDirect와 같은 Kernel-Bypass 기술들이 나오고 있습니다.

Infiniband는 Ethernet과는 달리 기본적으로 RDMA (Remote Direct Memory Access)를 사용하는데
이 RDMA의 가장 큰 특징이 Kernel을 Bypass하고 하드웨어 단에서 대부분 처리(offload)되기 때문에
FDR이면 56G, EDR이면 100G의 대역폭으로 cpu 사용률 0%로 데이터 전송이 가능합니다.
Ethernet에서도 RoCE를 이용하면 RDMA를 사용할 수 있기 때문에 100Gbe면 100G 풀 대역�G으로 데이터 전송이 가능합니다.

박문형 01-23

이더넷의 스팩은 10G 이후 40G냐 100G냐 하다가 100G로 갔고 그 중간에 40G와 25G가 있습니다..

100G 랜카드는 인텔 / 멜라녹스 / 챌시오 등에서 나오고 있는데 현재 가격대 성능비랑 호환성이 재일 좋은게 멜라녹스 제품입니다..

스윗치는 멜라녹스 외 여러군데서 나옵니다.. 국산도 개발해서 나오고 있고요..

https://www.edge-core.com/

여기 보시면 여러가지 스윗치가 나옵니다..


서버에서는 100G의 부하를 감당하기 위해서는 PCIe Gen 3.0 에 최소 8배속이나 16배속이 필요합니다..

이것들은 인텔에서는 제온 스케일러블 부터 AMD는 EPYC 부터 가능하다고 나옵니다..

그 전제품들은 100G의 부하가 크기에 사용하기 힘들다고 보시면 됩니다..

여기 회원님들도 몇분 사용하고 있으신 분이 계십니다..

http://www.2cpu.co.kr/QnA/682505?&sfl=wr_name%2C1&stx=%C6%E4%B8%A3%BC%BC%BF%EC%BD%BA&sop=and



가격은 아직까지는 살벌하다고 보시면 됩니다..

Chrome 01-23

제가 있는 곳에서는 Mellanox ConnectX-4, ConnectX-5 듀얼 100GbE 카드들을 여럿 보유하고 있고 이 카드들을 실제로 100GbE 스위치에 물려서 쓰고 있습니다. 실제로 저 정도 속도가 나옵니다. 다만 일반적인 OS 구성으로는 조금 힘들고, 커널 네트워크 스택을 바이패싱하고 RDMA over Ethernet과 같은 별도의 고속 전송 기술을 활용해야 간신히 100Gbps를 뽑을 수 있습니다. 또한, ConnectX-4의 경우 PCIe 3 규격인데, PCIe 3.0 x16 대역폭이 200Gbps보다 낮기 때문에 동시에 듀얼 100Gbps 대역폭이 나오지는 않습니다. 그리고 이것 또한 SFP-QSFP의 관계처럼 SFP28을 4개 묶는 QSFP28 규격입니다. 그래서 스위치에 주로 Splitter 케이블을 이용해서 10Gbps나 25Gbps 4개로 분리해서 사용하는 경우가 많습니다. 1U Half-width 스위치에 100Gbps 포트가 16개인데, 이걸 4개씩 가르기만 해도 Half-Width 주제에 64포트나 되는 포트가 나오니 단가를 제외하면 공간사용 면에서도 꽤 유용합니다.

Dominozlol 01-24

모든 분들의 설명 감사합니다. 큰 정보 얻어가게 되어 정말 감사합니다.