안녕하세요
네트워크 카드 제품중에 HPE제품으로 4x25Gb 1port NIC제품이 있는데 어떻게 속도를 계산하는 것인지 궁금합니다.
infiniband제품중엔 100Gb 제품이 있던데 이런 제품들이 진짜 이 정도 급으로 속도가 나오는 것인지 궁금합니다.
이런 제품들의 동작원리를 간단하게 말씀해주셔도 감사하겠습니다.
안녕하세요
네트워크 카드 제품중에 HPE제품으로 4x25Gb 1port NIC제품이 있는데 어떻게 속도를 계산하는 것인지 궁금합니다.
infiniband제품중엔 100Gb 제품이 있던데 이런 제품들이 진짜 이 정도 급으로 속도가 나오는 것인지 궁금합니다.
이런 제품들의 동작원리를 간단하게 말씀해주셔도 감사하겠습니다.
단일 링크로 100Gbps를 내는 NIC가 있는지는 모르겠네요. 포트가 QSFP28이라면 4개 링크를 사용하는 방식입니다.
"QSFP"라는 단어에서 "Q"가 의미하는 것이 Quad, 즉 4개 입니다.
QSFP+ (40Gb)는 SFP+(10Gb) 4개가 하나로 합쳐진 것이고
QSFP28 (100Gb)는 SFP28(25Gb) 4개가 하나로 합쳐진 것입니다.
그래서 QSFP는 한개의 포트로 40G 또는 100G로 사용할 수 도 있지만
http://www.mellanox.com/related-docs/prod_cables/PB_MC6709309-xxx_8_Fiber_MPO_to_4_x_2_Fiber_Duplex_LC_Passive_Optical_Splitter.pdf
https://www.mellanox.com/related-docs/prod_cables/PB_MFA7A50-Cxxx_100GbE_QSFP28_to_4x25GbE_SFP28_MMF_AOC.pdf
위와 같은 splitter 케이블을 이용해서 한개가 아니라 4개의 포트로 사용이 가능합니다.
스위치에서는 간단히 설정 명령어 하나로 변경이 되지만 NIC에서는 펌웨어단에서 설정이 필요할 수도 있습니다.
일반적으로 Ethernet이든 Infiniband든 싸구려 제품이 아닌 이상 하드웨어 적으로 명시되어 있는 40G, 100G의 대역폭이 Fully 지원은 되지만
(packet 처리량은 장비의 스펙에 따라서 천차만별입니다.)
실제 iperf 같은 툴로 테스트해보면 100Gbe NIC의 경우 일반적으로 40~50 Gb 대역폭 밖에 나오지 않습니다.
이는 하드웨어가 아닌 OS의 Kernel단에서 병목이 걸려서 그렇습니다. 그리고 어떻게 튜닝을 해서 벤치마크 상으로는 더 높은 대역폭이 측정이 되더라도
실제 사용을 해보면 그만큼의 대역폭이 나오지 않는게 일반적인데 이는 아직 소프트웨어 단에서 그만큼의 성능을 내지 못하는 경우가 대부분입니다.
(10G가 처음 나왔을 때도 실제 사용해보면 200~300MB/s 정도 성능밖에 안나왔지만, 현재 10G 정도는 별다른 튜닝없이도 대부분의 프로그램에서 풀스피드가 지원이 됩니다.
리눅스에서 rsync로 데이터를 전송해보면 200 MB/s 정도 밖에 속도가 나오지 않지만, bbcp 같은 프로그램에서는 10G 풀스피드가 나옵니다.)
네트워크쪽에서는 하드웨어의 발전에 비해서 아직 전반적으로 소프트웨어들이 못 따라가고 있는 상황이어서
그것을 타개하기 위해 UIO, RDMA, SolarFlare의 OnLoad 또는 TcpDirect와 같은 Kernel-Bypass 기술들이 나오고 있습니다.
Infiniband는 Ethernet과는 달리 기본적으로 RDMA (Remote Direct Memory Access)를 사용하는데
이 RDMA의 가장 큰 특징이 Kernel을 Bypass하고 하드웨어 단에서 대부분 처리(offload)되기 때문에
FDR이면 56G, EDR이면 100G의 대역폭으로 cpu 사용률 0%로 데이터 전송이 가능합니다.
Ethernet에서도 RoCE를 이용하면 RDMA를 사용할 수 있기 때문에 100Gbe면 100G 풀 대역픅으로 데이터 전송이 가능합니다.
100G 랜카드는 인텔 / 멜라녹스 / 챌시오 등에서 나오고 있는데 현재 가격대 성능비랑 호환성이 재일 좋은게 멜라녹스 제품입니다..
스윗치는 멜라녹스 외 여러군데서 나옵니다.. 국산도 개발해서 나오고 있고요..
https://www.edge-core.com/
여기 보시면 여러가지 스윗치가 나옵니다..
서버에서는 100G의 부하를 감당하기 위해서는 PCIe Gen 3.0 에 최소 8배속이나 16배속이 필요합니다..
이것들은 인텔에서는 제온 스케일러블 부터 AMD는 EPYC 부터 가능하다고 나옵니다..
그 전제품들은 100G의 부하가 크기에 사용하기 힘들다고 보시면 됩니다..
여기 회원님들도 몇분 사용하고 있으신 분이 계십니다..
http://www.2cpu.co.kr/QnA/682505?&sfl=wr_name%2C1&stx=%C6%E4%B8%A3%BC%BC%BF%EC%BD%BA&sop=and
가격은 아직까지는 살벌하다고 보시면 됩니다..