화정큐삼10G 랜카드를 RJ45 형부터 판매란에서 중고 구입해 오기 시작했는데,
정작 스위치 허브가 없어서 제대로된 테스트를 해본적이 사실 없었습니다.
TheSTREET님이 기부주신 2.5G 4P + 10G SFP+ 2P 6포트짜리 스위치 허브를 몇달동안 놀리다가 이제야 제대로 사용을 해보네요.
SSD 내지는 NVMe 정도가 있어야 제속도를 낼것 같아서 NVMe 를 각각 준비했습니다.
10G 랜카드는 HP SolarFlare SF329-9021-R7.4a 듀얼포트 10G SFP+ 랜카드 (S6102) 입니다.
1) 윈도우 11 이 설치된 Z490 인텔10 세대 PC는 PCIe 3.0 x4 에 해당해서 NVMe 인 D: 드라이브가 아래와 같은 정도의 속도가 보장됩니다.
알리에서 직구한 WD SN770 2TB PCIe 4.0x4 가 장착되어 있습니다.
2) 시놀로지가 설치된 H310 메인보드는 인텔 8세대 PCIe 2.0 x2 면서 NVMe 도 딱 성능이 PCIe 3.0 x 4 의 스펙이면서도 성능이 낮은
키오시아 EXCERIA G2 를 장착했습니다.
시놀로지 공유폴더로 부터 네트워크 드라이브 Z: 를 잡아주고 10G SFP+ 로만 연결해서 테스트를 진행했습니다.
쓰기 속도가 10G 의 최대 이론치 속도 1280 MB/s 에 해당하는 1172 MB/s 정도가 보장되는걸 알 수 있습니다. 
3) 윈도우 D: 드라이브에서 NAS 의 네트워크 드라이브 Z: 로 대용량 파일 3개정도를 복사했습니다.
10G 가 보장하는 거의 Max 의 수치에 가까운 속도가 나옵니다.
4) 반대로 Z: 에서 D: 로 NAS 에서 PC 로 복사를 진행합니다.
위 2) 에서 검증한 키오시아 NVMe의 읽기 성능이 492 MB/s 의 속도밖에 안되서 실제 복사에서도 이정도로 제한이 걸리는군요.
5) iperf3 로 시험한 결과 입니다.
HP SolarFlare SF329-9021-R7.4a 듀얼포트 10G SFP+ 랜카드 (S6102) 는
10G SFP+ 듀얼포트 랜카드인데 지빅도 부족하고 4포트의 스위치 허브도 확보가 안되서
10G + 10G = 20G SMB 멀티채널 테스트는 나중을 기약해야 할것 같습니다.
그 때는 NAS 쪽의 메인보드는 최소한 10세대 이상 NVMe GEN 3 이상이 보장되는 스펙이 준비되어야
20G 의 이론치 속도인 2560 MB/s 의 속도를 경험해 볼 수 있을것 같습니다.
Mellanox ConnectX-3 Pro FDR InfiniBand + 40Gigabit Ethernet Card (MCX354AFCCT) $11.88
https://www.ebay.com/itm/405222253878?var=675326973585
모든 W/S 과 NAS에 장착은 했는데 ....
시간이 없어서 아직 뭔가 해보지는 못했습니다.
10G 보다 40G ( 인피니밴드 56GB 와 이더넷 40G ) NIC 가격이 (중고이라서 .. 비교하는 것이 좀 그렇지만 ) 더 낮은 이유가 ? 뭘까요..
그런데 100GB 듀얼 포트 NIC도 $50 정도여서 소음만 고려하지 않을 수 있는 환경이면 36 포트 100G 스위치도 $100 수준이군요.
고속 네트웍에서 이제 10G는 기가비트 네트웍에서의 100M NIC 취급을 받게 될 것 같군요.
PCIe5.0x4 (128GT/s) NVMe 가 나오고 있는 상황에서 100G NIC의 최대속도도 128GT/s 까지 커버되니
제가 올린 밴치보다 정확히 10배가 빠른 찍먹이 가능할듯 합니다.^^
100G NIC 도 버스대역폭을 맞추러면 PCIe5.0x4 가 지원되는 최신 메인보드를 사용해야 하는게 당연하겠죠?
Mellanox CX456A ConnectX-4 EDR + 100GbE MCX456A-ECAT 는 PCIe 3.0 x16 이라서 최신 보드가 아니여도 됩니다.
대부분의 마더보드가 x16 슬롯이 2개 이므로 하나는 U.2 4 개 , 100G NIC 에 하나를 할당하고 x4 , x8 슬롯에 SAS HBA를 수용하면
NAS 구성에 무리가 없을 것 같습니다.
그래서 저가의 오래된 마더보드에 적용할 수는 있어요.
---------------------
100G NIC 의 버스대역폭을 맞추러면 PCIe5.0x4 가 지원되는 최신 메인보드를 사용해야 하는가?
답변 :
100G NIC(Network Interface Card)의 성능을 최대한 활용하려면, PCIe 슬롯의 대역폭이 충분히 확보되어야 합니다.
이를 고려할 때, PCIe 5.0 x4 슬롯이 100G NIC를 지원하기에 적합한지 분석해 보겠습니다.
100G NIC의 대역폭 요구사항
100G NIC는 최대 100Gbps(초당 기가비트)의 데이터 전송 속도를 지원하며, 이는 양방향(full-duplex) 통신을 고려할 경우 총 200Gbps의 대역폭이 필요합니다.
따라서 이를 지원하려면 PCIe 슬롯의 대역폭이 충분히 커야 합니다.
PCIe 5.0 x4의 적합성
충분한 대역폭 제공 여부: PCIe 5.0 x4는 약 126Gbps의 대역폭을 제공하므로, 단일 방향으로는 100Gbps를 충분히 지원할 수 있습니다.
하지만 양방향(200Gbps)을 모두 활용하려면 부족할 가능성이 있습니다.
대안: 완전한 성능을 위해서는 PCIe 5.0 x8 이상 또는 PCIe 4.0 x16 슬롯이 더 적합합니다.
결론
PCIe 5.0 x4 슬롯은 단일 방향으로는 100G NIC를 지원할 수 있지만, 양방향 통신에서 발생하는 최대 성능(200Gbps)을 보장하기에는 대역폭이 부족할 수 있습니다.
따라서 최신 메인보드에서 PCIe 5.0 x8 이상의 슬롯을 사용하는 것이 권장됩니다.
그래픽 카드가 장착되는 PCIe 5.0 x16 슬롯을 사용하는 방법 밖에는 없을듯 하고
그래픽 카드도 사용하려면 PCIe 5.0 x16 가 2개 지원되는 보드는 1851소켓에서는 ASUS z890 칩셋이 나오네요. (그래픽과 동시장착시는 둘다 PCIe 5.0 x8 로 하향)
1700 소켓에서는 z690 칩셋이 이정도로 지원하는것 같구요.
맞나요?
AMD AM5 쪽에는 같은조건이 되는 칩셋이 ASUS X870E 로 크로스파이어되는 모델이 있긴한데 가격이 100만원 넘는 깡패네요. ㅜㅜ
멜라녹스가 듀얼 포트 100G NIC를 PCIE 3.0x16 으로 만들지 않았을 거예요.
저는 이런 질문은 perplexity 를 사용합니다.
chatGPT는 문과 출신 이라고
이과 출신인 perplexity 에 물어보아야 할 질문은 따로 해야 한다고 합니다. ㅎㅎㅎㅎ
그래서 문과라서 ? ㅎㅎ GPT에게 물어 봤어요. 그런데 님의 질무의 답이 다릅니다.
PCI-E 3.0 X8 슬롯에 40G 듀얼
PCI-E 3.0 X16 슬롯에 100G 싱글 / 100G 듀얼
PCI-E 4.0 X8 슬롯에 100G 싱글 / PCI-E 확장 젠더를 통해서 100G 듀얼
PCI-E 4.0 X16 슬롯에 200G 싱글 / 100G 듀얼 정도 입니다.
PCI-E 5.0 사용은 멜라녹스 기준으로 CX7 부터 입니다.
CX5/6까지는 4.0 이구요..
CX3/4까지는 3.0 이구요
최근에 AI 엔진 선택이 가능해서 기본 설정에서 일부러 GTP-4o 로 바꾸어 봤습니다.
처음 답변은 GTP-4o 가 해준 내용입니다.
다시 기본 AI 엔진으로 되돌리고 똑같이 문의해 봤는데, 조금 다른 답변이 나오네요.
PCIe 3.0 x 16 가 언급되고 있네요.ㅎㅎ
----------------------------------------
100G NIC 의 버스대역폭을 맞추려면 PCIe 5.0x4 가 지원되는 최신 메인보드를 사용해야 하는가?
답변 :
100G NIC의 버스 대역폭을 완전히 활용하기 위해서는 PCIe 5.0 x4 지원 메인보드가 반드시 필요한 것은 아닙니다.
다음과 같은 이유로 PCIe 4.0 x8 또는 PCIe 4.0 x16 슬롯으로도 충분할 수 있습니다:
PCIe 버전별 대역폭
PCIe 3.0 x16: 약 128 Gbps
PCIe 4.0 x8: 약 128 Gbps
PCIe 4.0 x16: 약 256 Gbps
PCIe 5.0 x4: 약 128 Gbps
100G NIC 대역폭 요구사항
100G NIC는 양방향(full-duplex) 통신을 지원하므로 이론상 최대 200Gbps(100Gbps 송신 + 100Gbps 수신)의 대역폭이 필요합니다.
PCIe 슬롯 선택
PCIe 4.0 x8 또는 x16 슬롯으로도 100G NIC의 대역폭을 충분히 수용할 수 있습니다.
PCIe 3.0 x16 슬롯도 이론상 128Gbps를 지원하지만, 실제로는 오버헤드로 인해 200Gbps를 완전히 처리하기 어려울 수 있습니다.
PCIe 5.0 x4 슬롯은 약 128Gbps의 대역폭을 제공하므로 100G NIC를 지원하기에 충분합니다6.
결론
100G NIC의 성능을 최대한 활용하려면 PCIe 4.0 x8 이상의 슬롯을 사용하는 것이 좋습니다.
PCIe 5.0 x4 슬롯도 충분한 대역폭을 제공하지만, 반드시 필요한 것은 아닙니다.
최신 메인보드의 PCIe 4.0 x8 또는 x16 슬롯으로도 100G NIC의 성능을 충분히 발휘할 수 있습니다.
--------------------------------------------------------
질문에 오타 없이 한번더 물어봤습니다.
깔끔하게 테이블로 정리해주네요.
이미 같은 질문이 여러번 들어가서 조금 더 학습을 한것 같아보이네요. ㅎㅎ
따라서 PCIe x16 슬롯의 총 이론적 대역폭은 단방향 대역폭의 두 배가 됩니다.
오버헤드로 인해 200Gbps를 완전히 처리 ....
-->>???
PCIE 단방향 대역폭을 이더넷 양방향에 계산에 포함하시나요?
그러시려면 PCIE 도 양방향으로 계산하셔야지요 ...
AI GPT-4o 한테 좀더 똑똑해 지라고 하셔야 할것 같습니다. ㅎㅎ
신뢰할 수 있는 이과의 perplexity Pro 도 비슷한 말을 하는것 같은데요.
오버헤드는 잘못 안내된 내용이 맞는거죠?
AI 가 잘못 안내한 이런 내용은 무시해도 맞다는 말씀인거죠?
다시 천천히 답변주신것 읽어보니 단방향 / 양방향은 신경 쓸것이 없네요.
그냥 버스당 최대 대역폭만 생각하면 맞는거네요.
PCIe 3.0 의 오버헤드 이런것 그렇게 민감해 할 필요도 없을것 같습니다. ㅎㅎ
스위치가 가격이 높지않은 중고를 구할수는 있는데 소음이 ... ㅠㅠ
그래서 스위치 U2 를 케이스를 버리고 오픈 프레임 PC 으로 변경해서 120mm, 140mm fan 으로 바꾸려고 합니다.
RPM 검출 단자에 12v 를 저항으로 연결해서 스위치가 Fault 검출 Red LED Alert 를 회피 하려고 시도 중 입니다.
40G 스위치 이고 크기도 작아서 ... 가격도 착하고
다만 인피니밴드 전용 이라서 NIC를 인피니밴드 와 이더넷을 지원하는 것을 선택해서
인피니밴드 으로 동작하면서 이더넷 을 처리하는 방식으로 드라이버를 설치하면 40G 스위치 가 됩니다.
100G 스위치도 이런 방식으로 접근 하려고 하니다.
40G 잘되면 ... 소음 이슈가 해결되면 가격은 $100 ~ $200 수준에서 .. 어찌어찌 해볼생각 입니다.