박문형 2019-07

어찌 생긴게 10G 초기 모델 같이 생겼네요..

epowergate 2019-07

10G 초기인 CX4는 아니고 sfp28 입니다.
그런데 스티커를 보니까 QSFP+라고 되어 있어서 의심중 입니다.
짝퉁인것 까지는 좋은데 (심지어 OEM이라고 써있어서)  정상 작동하는지 궁금해서요

박문형 2019-07

100G는 멜라녹스가 가성비 짱이라는 소리를 듣고 40G는 어떨까 생각합니다..

epowergate 2019-07

아 이런...
Intel XL710은 QSFP+가 맞네요. 
지금 사용하는 Mellanox 40G가 sfp28이어서 다 그런줄 알았습니다.
40G는 Cable도 신경써야 겠네요
제조사별로 QSFP+, SFP28, QSFP, QSFP28 (이건 100G인데...) 등 다양하게 다 있는것 같습니다.

maronet 2019-07

25g 가 sfp28 이고, 100g가 이걸 4개 묶어서 쓰는 qsfp 28 아닌가요?
40g는 qsfp/qsfp+ 고요.

epowergate 2019-07

기본적으로 맞습니다.
그런데
Mellanox ConnectX-4 는 40G인데 QSFP28 사용하구요
Mellanox ConnectX-3 Pro EN은 QSFP 사용합니다.
Chelsio도 예전 제품은 QSFP 사용하는데 요즘 제품은 QSFP+ 사용하구요
Netronome과 Solarflare은 QSFP 전용입니다.
인텔은 QSFP+로 보이구요
결국은 제조사가 필요한 데로 만든다가 답인것 같습니다

maronet 2019-07

제품 스펙에 보면
Mellanox ConnectX-4는 이더넷 100gbps까지 지원하는 제품(EDR 100Gb/s InfiniBand or 100Gb/s Ethernet per port)이고,
Mellanox ConnectX-3 Pro EN은 인피니밴드 40/56G를 지원하는 제품(Up to 40/56GbE per por)이라 그런 것으로 보입니다.

100G를 지원하는 제품들은 신호처리가 달라지니 당연히 28이 붙은 규격을 사용하게되는 것 같구요.
물리적인 커넥터야 같은 크기이고, 칩셋이 하위 호환성 있게 설계되다보니 QSFP28에서도 40G/25G/10G 등이 사용되는 것으로 보입니다.

epowergate 2019-07

그니까요, 제조사의 필요에 의해서 만드는 거지요.
자기들 스위치를 함께 구매하면 문제가 없겠지만 다른벤더의 스위치를 구매하면 문제가 발생할 가능성이 높죠.
그래서 어려운 겁니다.  고객은 거기까지 생각하지 않으니까요

시도니 2019-07

10G/25G/40G SPF+ DAC 규격이 있고,

25G/40G 가 QSFP+ 규격이고

100G가 QSFP28 규격이라고 알고 있는 데..

QSFP28에 QSFP+가 하위 호환되기 때문에..

100G interface 에 100G/40G/25G 를 공히 쓸 수 있는 것으로 알고 있습니다.

100G는 무조건 QSFP28에 꼽아야 하구요.


안그래도 고객요청으로 저희도 저 카드로 고객사에서 납품해달라고 요청 들어온건 같던데... 아직 HPE 안올라오는 것 같던데..

3rd 로 넣어야 하려나요?


p.s. 짝퉁이여도.. 칩셋만 진퉁이고 다른 MAC이랑 충돌만 안하면 되니까요. 흐흐흐.....

epowergate 2019-07

오늘. 주문 넣었습니다.
휴ㅠ가다녀오면 도착하겠지요
그때 해보고 알려드릴께요

maronet 2019-07

어제 복잡한 용어들이 혼란스러워서 찾아보니~
SFP/SFP+/SFP28은 물리적인 커넥터 규격은 같아서 호환되지만, 사용되는 케이블/트랜시버에 따라서 성능이 달라진다고 보았습니다.

SFP+에 25G와 40G가 있나요?
제가 찾아본바로는 25G가 지원되는 SFP28에 SFP+ 트랜시버/케이블을 연결할 수는 있으나(물리적인 규격은 같으니) 속도는 보장안된다고 보았거든요.
그리고 40G가 SFP+에서 구현되면 QSFP+는 160G가 나와야합니다.
(28의 의미가 한 라인에서 28Gbps까지 나온다는 의미더라고요)

25G/40G가 QSFP+라고 하신 부분도 좀 잘못표현된게 아닌가 싶구요.

epowergate 2019-07

이제 10G는 범용화가 많이 되어서 벤더를 탄다가나 하는건 많이 줄었습니다.
하지만 아직도 DELL Switch용 SFP+ Gbic은 Intel X520 10G NIC에서 인식되지 않습니다.
또한 flextronix나 중국산 범용 GBIC이 (CISCO 포함) 대부분 스위치에서 호환이 되는데 ARISTA와 HP에서는 문제가 있습니다.

25G는 더 심해서 벤더제품 아니면 사용 불가 수준이구요.
40G는 어떨찌 모르겠습니다.  이번에 해보면 알겟죠.  CABLE은 HP/DELL 스위치 살때 함께 사온 40G/100G Cable들이 많이 있는데 호환 CABLE도 3가지 구매해 봤습니다.  큰 기대 않하는데 보려고 합니다.

maronet 2019-07

10mbps 씩케이블 쓰던 시절 때부터 늘상있던 문제기는 하죠.
그래도 정확한 기술규격을 이해하면 조금 더 수월한 것 같습니다.
벤더사가 그걸 좀 명확히 표현안해주는 문제도 있기는 합니다.
저도 지금 인피니밴드 40g 구성한다고 이것저것 사모으고 있는 중입니다. 카드는 오늘 오것내요.
케이블 선택이 가장 어려울 것 같습니다.
25g/100g도 결국 적절한 트랜시버와 그에 맞는 케이블 선택의 문제가 아닌가 싶구요.
자료 찾아보다보니 25g/100g에 10g에 쓰던 OM 케이블 연결하면 당연히 안되더라고요. 규격이 아예 다릅니다.

epowergate 2019-07

벤더사는 항상 명확하게 명시를 합니다.
소비자가 그 사양을 읽어보지 않는게 문제구요.
규격이 문제가 아닙니다.  그 정도는 당연히 챙기죠. 
규격이 맞아도 호환이 되질 않는게 문제입니다.
트랜시버건 DAC Cable이건 무조건 벤더제품을 함께 구매해야 하는데 금액 차이가 너무 나기때문에 선뜻 구매하기가 어려운 겁니다.
대충 사제사서 사용하면 되는것 처럼 보이는데 갑자기 SR-IOV가 작동을 하지 않거나 하는 경우가 너무나 많습니다.
너무 비싸게 배우고 있습니다.

maronet 2019-07

예전에 기가빗 이더넷 초창기에 I사 서버랑 특정 스위치랑 안물리던 상황 생각나내요.
검증된 제품은 가격이 문제고~ 요령 좀 피워볼라하면 몸이 고생하고 인생이 뭐 그런 것 같습니다.
그래도 그런 한계 돌파하며 쾌감을 느끼며 사는게 공돌이의 삶 아니것습니까 ^^

저도 방금 카드랑 DAC 케이블 도착했는디~ 어찌될라나 모르것습니다.
해보면 알것죠 ㅋ

maronet 2019-07

미디어 링크가 아예 떨어지나요?
아니면 VF 일부가 죽나요? VF 중 일부가 죽는 문제라면 펌웨어/소프트웨어쪽이 아닐까 싶습니다. <- 이미 확인하셨을거 같기는 합니다.

시도니 2019-07

QSFP+/QSFP28은 SFP/SFP+ GBIC 포트와 호환되지 않습니다. QSFP포트는 SFP+ 포트보다 더 크게 생겼습니다.

maronet 2019-07

"10G/25G/40G SPF+ DAC 규격이 있고, "라고 하셔서요.
SFP+에도 DAC를 사용하는 경우에는 25G/40G가 있나해서 여쭤본겁니다.
제가 알기로는 SFP28이 아닌가 싶어서요.

윤건 2019-07

저 제품을 사용하고 있는데 (OEM은 아님)
HP, DELL서버에서 잘 동작하고 뭐... 그럭저럭 사용할만 합니다만 별로 사용하고 싶지 않은 제품입니다.
Dual-Port 이긴 해도 실제로는 한 포트만 사용해야 합니다.(또는 Active-Stanby)
XL710 칩셋 내부 스위칭 capacity가 50G 밖에 되지 않아서
두 포트를 동시에 40G로 연결할 경우 패킷드랍이 주루룩.......
그리고 펌웨어 수정을 통해서 40G포트를 4x10G로 사용할수도 있지만
QSFP-SFP 어댑터를 이용한 1x10G는 동작하지 않습니다.

maronet 2019-07

듀얼 포트 카드들에 또 그런 체크 포인트(실처리능력)가 숨어있었내요.
PCI-E x8 슬롯에서 40gbps 듀얼로 나온다는 것 자체부터 좀 이상했습니다.
( 계산해보니 pci-e 3.0 x8이면 최대 약 63gbps 정도 나올 것 같습니다 )