10G NIC 와 10G switch 구입했는데 케이블을 어떤 것을 구입해야 하는지
추천/조언 부탁 드립니다.
이베이에서 가장 저렴한 ?? 10G 스위치로 NETGEAR XS708T (8-port ProSAFE 10-Gigabit Smart Managed Switch) 구입 했어요.
SFP+ 포트 두개와 RJ45 10G 포트 8개 (6개)를 갖고 있어요.
https://www.ebay.com/itm/375503665074 $180 구입
https://www.netguardstore.com/XS708T.asp
NIC는 Mellanox MCX354A-FCCT 를 구입 했습니다.
10G 이더넷을 지원 하고 40G 인피니밴드 지원 하는 것으로 PCIEx8 ( 마더보드에 x16 PCIE가 U.2 드라이브를 여러개 장착하니 없군요. )
https://www.ebay.com/itm/326260407142 개당 $16 ( 10G connectx-3 보다 낮은 가격이면서 40G 인피니밴드 와 10G 이더넷을 모두 지원 한다고 해서 )
두개의 PC에 Mellanox MCX354A-FCCT 각각 설치하고
NIC port 1 는 인피니밴드 40G 으로 서로 DAC 케이블을 (1FT 길이 ) 사용해서 두 PC에 직결 하려고 합나다.
RDMA 기능을 설정 할 예정 입니다.
NIC port2 는 두개 PC에 하나씩 스위치 7번 , 8번 SFP+ 포트에 연결 하려고 합니다.
DAC 케이블 또는 트렌시버와 광케이블 (3M 정도 ) 으로 하려고 합니다.
NIC port2 는 이더넷으로 구성하고 10G 으로 설정 예정 입니다.
각각 어떤 케리블을 구입 해야 하나요?
1. 10G 용 DAC 케이블 은 SFP+ 규격으로 NIC 와 Switch 양쪽으로 연결하면 되는 거죠? 또는 트렌시버와 광케이블으로
2. 인피니밴드 40G를 위한 DAC 케이블은 QSFP ? 인가요? SFP28 규격인가요?
3. Mellanox MCX354A-FCCT NIC 에 두개 포트가 동일하지 않은 케이블을 모두 지원 하나요?
위 내용중 잘못된 이해가 있을지 모르겠습니다. 조언 부탁 드립니다.
사용환경은 RHEL 9.4 이고 PCIE 냉각을 위한 Fan 은 장착 가능하기도 하지만 공간도 없고 해서 소음때문에 장착 하지 않으려고 합니다.
NETGEAR XS708T는 전원을 켜고 1분간 굉음이었다가 조용해지는 군요...
32포트 , 48포트 10G RJ45 포트 $20 정도 구입가능하지만 소음이 걱정되서 거의 10배 가격으로 이 스위치는 소음이 적다고 해서 구입했는데
성능은 어떨지 모르겠네요,,,
감사 합니다.
==> 포트별로 ETH / IB 설정 가능합니다.
구글에서 "mellanox port type" 으로 검색
2. 인피니밴드 40G를 위한 DAC 케이블은 QSFP ? 인가요? SFP28 규격인가요?
==> QSFP+ 케이블 입니다. QSFP+ to QSFP+ 케이블 사용하면 됩니다. ( Ebay나 장터 검색 )
40G까지는 IB나 ETH나 같은 QSFP+ 케이블 사용하면 됩니다.
1. 10G 용 DAC 케이블 은 SFP+ 규격으로 NIC 와 Switch 양쪽으로 연결하면 되는 거죠? 또는 트렌시버와 광케이블으로
==> CX354A에서 10G 장비를 이용하기 위해서는 QSFP+ 포트를 SFP+로 변환해야 합니다.
QSFP+ (변환어뎁터 SFP+ ) <== DAC/광==> 스위치로 연결 됩니다.
QSFP+ to SFP+ 변환 어뎁터가 필요합니다. ( Ebay나 장터 검색 )
기타
- XS708T도 쿨러가 있습니다. 처음에 굉음이 나는 이유는 베어링이 망가져서 입니다.
이후 조용해지는 이유는 온도에 따라서 쿨러동작 속도가 달라지기 때문이고, 온도가 낮으면 쿨러가 멈춥니다.
조용하게 쓰시려면 향후 쿨러쪽 점검이 필요할겁니다.
신품쿨러로 대체하거나, 베어링민 교체하거나... 다만 오일 주입은 소음에는 큰 효과가 없습니다.
쿨러가 없으면 부하가 걸리면 오동작하거나 스위치에 엄청난 무리가 갑니다.
perplexity 이나 chatGPT 는 질문을 조금만 바꿔도 이랬다 저랬다 답을 하니까 ..
기본 지식이 없는 것은 틀린 답인지도 모르고 헤갈리게 하는군요...
포트별로 ETH / IB 설정 ::
ETH -> 10G / IB -> 40G 인가요?
ETH/IB 둘다 10G 또는 40G 설정 된다는 의미인가요?
제가 제일 헷갈리는 부분인에 답이군요...
QSFP+ to SFP+ 변환 어뎁터를 구입해야 하는 것이군요, ㅠㅠ
DAC 케이블 중에서 한쪽은 QSFP+ 다른 한쪽은 SFP+ 인 것도 있을까요?
사실 10G/40G 설정 가능하다고 해서
10G 설정 포트는 SFP+ 케이블이 적용되어서 스위치 쪽도 SFP+ 이므로 연결할때 QSFP+ to SFP+ 변환기가 필요 없는 것인지 궁금 했어요...
40G 설정 포트는 IB/ ETH 상관 없이 동일한 QSFP+ DAC 케이블을 사용 하는 것이군요..
IB나 ETH나 같은 QSFP+ 케이블 :: DAC 또는 AOC 모두 QSFP+ 타일으로 구입해야 한다는 말씀 이시지요?
쿨러는 교체해야 할지... 부우웅 ~ 하는 소리 이라서 ...
팬이 베어링이 손상되서 나는 소리인지 모르겟군요 ... 스위치는 거의 새것 같기는 한데 ...
ETH -> 10G / IB -> 40G 인가요?
ETH/IB 둘다 10G 또는 40G 설정 된다는 의미인가요?
==> 둘다 가능합니다
10G 케이블을 끼우면 10G로 40G 케이블을 끼우면 40G로
2개 포트 각각, 프로토콜타입 / 속도는 따로따로 설정(?)됩니다.
제가 제일 헷갈리는 부분인에 답이군요...
QSFP+ to SFP+ 변환 어뎁터를 구입해야 하는 것이군요, ㅠㅠ
DAC 케이블 중에서 한쪽은 QSFP+ 다른 한쪽은 SFP+ 인 것도 있을까요?
==> QSFP+ ==> SFP+ 케이블도 있긴한데, 잘 안보이고 구하기도 어렵고..
그냥 변환어뎁터에 SFP+ 케이블이면 같은 역할을 합니다.
변환어뎁터, SFP+ 케이블 따로따로 별도로 활용 가능해서 더 효과적입니다.
( 장터에서 "QSFP 변환"으로 검색해보세요. )
IB나 ETH나 같은 QSFP+ 케이블 :: DAC 또는 AOC 모두 QSFP+ 타일으로 구입해야 한다는 말씀 이시지요?
==> L1레이어는 같은데 L2부터는 두개 프로토콜이 전혀 다른 구조입니다.
경험상 40G 까지는 IB/ETH 크게 케이블 구분없이 동작하구요
멜라녹스의 경우 100G는 IB용 EDR 케이블, ETH용 100GE 케이블이 구분되어 있습니다.
100GE ETH용 케이블을 IB용으로 사용할 경우 100G로 동작하지 않고 40G로 동작했다는 리포트(?)가 있습니다. / 저도 경험했구요.
100G IB용 케이블은 100GE ETH용으로 문제가 없다고 하구요.
타 벤더는 ETH 장비만 있으니 IB/ETH 케이블 구분이 없습니다.
10G 케이블을 끼우면 10G로 40G 케이블을 끼우면 40G로
2개 포트 각각, 프로토콜타입 / 속도는 따로따로 설정(?)됩니다.
이 부분이 제일 혼동 되는 부분입니다..
10G 케이블은 QSFP+ 으로된 10G 케이블 인가요? 아니면 혹시 SFP+ 10G 케이블을 말씀 하시나요?
둘다 QSFP+ 10G 케이블 이라면 10G, 40G 케이블을 어떻게 구별하나요?
40G라는 의미는 그냥 QSFP+ 케이블을 의미입니다.
10G 는 (QSFP+ to SFP+ 변환기) 와 SFP+ 케이블 을 말슴 하시는 것이군요...
10G 스위치를 40G QSFP 포트가 달린 것으로 구매 할걸 그랬네요...
만일 카드 죽으면 끄때 다시 구입하죠뭐 .. $16 수준이라서.. 그리고 팬을 달아야 할 것같네요..
냉각 팬을 달려고 했다면 RJ45 타입의 X520, x540 등등 으로 하면 SFP+ 키이블 신경 않쓰고 되는데 ..
멜라녹스는 발열이 상대적으로 적다고 하셔서 스펙을 찾아 봤더니 소비 전력이 상대적으로 적어서 .. 그냥 될 줄 알았죠.. ㅎㅎ
어차피 멜라녹스 NIC 이던지 인텔 이던지 냉각 팬을 달긴 해야 하는 군요 ...
프론트에서 냉각 팬을 달아야 하는데 DIY는 늘 어렵네요...
슬롯 먹는게 싫으시면 블로우팬 다세요 (10W도 안 먹는 저런넘은 이걸로도 버팁니다)
트랜시버는 어떤 타입의 광 케이블인가에 따라서 달라지겠군요 ..
어떤 제품이 인지 모델명을문의 드린것인데 .. ㅎㅎㅎ
"OM4 이상" 이 무슨 뜻인가요?
5M는 DAC/광중 선택이구요
그 이상은 광으로 하는게 편합니다. ( 경제적, 관리적 )
넷기어는 아무 DAC이나 다 먹습니다.
멜라녹스 NIC도 아무 DAC이나 다 먹습니다.
다행 입니다.. 후 ~~~ 걱정했는데 케이블이 둘중 하나만 되면 줄중 하나를 바꿔야 해서 ...
단, 멜라녹스 40G 어뎁터는 일부 고전력 모듈은 동작 안합니다.
광모듈중에서 고전력 모듈이 있는데
그중에서 돌아가는것 안돌아가는것 등등이 있다는 의미입니다.
DAC 케이블은 다 잘 동작합니다.