안철현 2023-09

2.번
멜라녹스 VPI 어뎁터는 ib eth 프로토콜을 둘다 지원하는 어뎁터라서 펌웨어단에서 고정시킬 수 있습니다.
간혹 auto로 동작을 안하는 경우가 있어서요.
윈도우즈는 런타임중 변경은 가능하지만 다른 내트워크 장치로 잡히면서 어뎁터가 리셋됩니다.  보통 변경하고 리부팅해줍니다.

3. IB ETH 광모듈은 동일합니다.
다만 같은 40g/100g 광모듈이라도 ib는 어뎁터에서 지원하는 데이터 인코딩 방식에 따라서 최대 속도가 약간 다를 수 있습니다.

1. 프로토콜이 달라서 서로 생짜로 호환은 안됩니다.
다만 터널링형태로 타 프로토콜을 인캡슐레이션해서 전송할 수 있지만 오버헤드로 인해 효율은 떨어집니다.

IP over IB / FC over Ethernet 등

구차니 2023-09

판매글에 댓글달기 죄송해서 올렸는데 답변 감사합니다.

1. FC SAN은 본 것 같은데, 아주 불가능하진 않다는 의미군요.

2. 펌웨어에서 고정한다는데 raid 카드 it ir 모드 처럼 다른 펌웨어를 써야 작동을 한다는건가요?
auto로 된다는건 펌웨어 상관없이 둘다 지원은 하는 것으로 생각이 되서요.
일단 윈도우 보단 리눅스 쪽으로 쓸수 있다면 써보고 싶어서 고민만 하고 있습니다(내무부장관님께서 돈이 없으시대서 ㅠㅠ)

3. 맞는 표현인진 모르겠지만
NIC에서 인코딩으로 인해 오버헤드가 생겨서 최대 대역폭은 동일하지만 실제 전송되는 데이터가 상대적으로 줄어드는 걸로 이해하면 될까요?

안철현 2023-09

2. 같은 펌웨어에서 동작모드만 변경하도록 옵션을 변경합니다. 펌웨어 셋팅 커맨드 한줄로 처리됩니다. 다만 멜라녹스 vpi 어뎁터만 가능하고.. 타사 어뎁터는 듀얼로 동작하지 않습니다.

3. 40g 기준으로 인피니밴드에서 전송 인코딩 방식에따라서 최대속도가 좀 다릅니다.
인피니밴드 QDR 인코딩은 전기신호는 40G 이지만. 실제 데이터레이트는 32g인가 34g인가(기억이.가물가물) 정도입니다.

구차니 2023-09

ipmi-tool 이런것 들 처럼 ib-tool등을 통해 장치에 커맨드 라인으로 설정하는 방법이 있나 보군요.

좋은내용 공유해주셔서 감사합니다!
지갑여유만 되면 개인적으로 사용해보게 40G ib 두개 + DAC 케이블 or GBIC + QSFP 케이블 을 다 구비해서 공부해보고 싶긴하네요 -_ㅠ

안철현 2023-09

멜라녹스 카드는 펌웨어툴이 잘되어 있어서..
펌웨어 툴로 여러설정이 가능합니다.

epowergate 2023-09

1. Emulation으로 IP 지원합니다

구차니 2023-09

만약 공부를 위해서 가지고 놀아본다면 IB가 공부할 내용이 많을까요 FC SAN이 많을까요?
요즘 시대에(?) SAN은 조금 보기 힘든것 같은데 IB는 그래도 조금 눈에 띄여서 어느게 다뤄볼만한지 고민이 되네요

박문형 2023-09

FC/SAN은 사용하는 곳이 제한되어 있다고 할 정도로 요즘은 거의 사용하지 않습니다...

순수 IB도 사용하는 곳은 적다라고 생각하지만 IB는 아직은 고속 이더넷과 함께 계속 발전할 구석은 있다라고 생각합니다..

현재 아마도 IB 장비 제조사는 멜라녹스 밖에 없을 겁니다..

IB 초기인 10G /20G 때만 해도 여러 제조사가 있었지만 다 통합되고 40G 때 가면 멜라녹스밖에 없다라고 보셔도 됩니다..

멜라녹스 (현재는 엔비디아가 흡수함) 장비가 IB의 표준이라고 봐도 되니 멜라녹스 장비를 알아보세요..

구차니 2023-09

슈퍼 컴퓨팅 센터 쪽에서도 백본으로 ib를 쓰길래 ib에 좀더 기울어져 있긴했는데
san은 다뤄본적이 있어서 한번쯤은 다뤄보고 싶긴한데 장래성이 없나보네요.
그럼 SAN도 10G나 40G 등으로 대체되서 사라지려나요?

박문형 2023-09

SAN은 아마도 현재 사용되는 곳은 FC 스토리지 솔류션을 가진 EMC /NetApp 같은 곳에 브로케이드 제품이 SAN 스위치가 OEM되어 있고

속도가 아마 최고가 16G 아니면 32G 인데 HBA카드는 Qlogic 정도만 남아 있을 겁니다..

중고 장터에 보통 보이는 것이 8G 제품 들이고 스위치 같은 것은 중고 가격보면 심하게 말해서 쇠값입니다..

옛날에는 판매되어 사용되었지만 현재는 사용자가 거의 없어 구매수요가 거의 없다라고 보시면 됩니다..

SAN 와 이더넷 그리고 IB는 완전히 다른 3가지로 저는 생각하기에 SAN 같은 경우는 그것을 사용할 수 밖에 없는 금융권 같은 곳에서

연명은 하겠지만 일반적인 IDC 센터나 서버 시장에서는 없어질 것으로 보입니다..

구차니 2023-09

SAN은 언젠가 손에 떨어지면 다뤄보는거고 일단은 ib를 목표로 매복을 해봐야겠습니다.
감사합니다 ^^

새옹지마아 2023-09

1. IB는 OSI계층에서 보면 1,2 계층(하드웨어)이고 TCP/IP는 3,4계층(소프트웨어)입니다. TCP/IP는 기본적으로 하부 레이어가 이더넷이던 IB던 PPP던 토큰링이던 상관 없습니다.
2. IP over IB는 소프트웨어 계층이고, 하드웨어와는 상관 없습니다. 그리고, IB를 사용하는 장비들이 이더넷 NIC도 가지고 있으며, IB노드끼리는 IB통신을 하거나 IP over IB 통신을 하고, 외부와는 이더넷 통신을 합니다.  내/외부 둘이 IP 주소가 다르기 때문에 내부 노드끼리도 이더넷을 통한 IP통신을 할 수도 있습니다.
3. IP는 소프트웨어, IB는 하드웨어입니다. 서로 계층이 다릅니다. 이더넷 포트의 GBIC과 IB의 GBIC 얘기시라면, GBIC은 이더넷끼리도 호환이 잘 안되는데, 가능할 지?

구차니 2023-09

그럼 순수하게(?) TCP/IP 말고 ib 전용 프로토콜까지 올려서 쓰는 경우도 있다는 말씀이신가요?

일단 gbic은 광 허브 없이 1:1로 물려서 써보는 식으로
비용을 최소화 해서 써보고 싶어서 고민중인데
ib가 ip/ib 로 모드 바꾸어서 쓸 수 있다면 ip 모드와 ib 모드에 따라 gbic이 바뀌어야 하나가 궁금했습니다.
즉, gbic 자체의 호환성 개념으로 아무 gbic이나 쓸수 있어요?의 질문은 아니었습니다.

안철현 2023-09

1:1 연결은
이더넷 어뎁터로 하시면 간단히구요.

ib어뎁터로도 할 수 있는데..
IP over IB로 가능합니다.

멜라녹스 기준으로..
동일하드웨어로 두가지 방식 다 가능합니다.

참고로 멜라녹스 dac 케이블류는 이더넷. 인피니밴드. VPI 케이블 별로 모델이 좀 다르고
어뎁터나 스위치랑 조합이 안맞으면 최대 속도가 제한될 수 있습니다. ( 주로 100G 이상 )

구차니 2023-09

조금은 40G나 ib에 자체에 대한 환상이 있다고 해야 할까요 ㅎㅎ
이게 다~~~ 3년전 국책과제로 조사하던 탓입니다.

멜라녹스 DAC 케이블로는 모델이 다르다면 하나만 사서는 ib / ip 모드에서 속도 저하 외에도 다른 문제가 있을수 있다는 말씀이신가요?
어짜피 돈이 없어서 스위치 까진 고민하지 못해(ib 스위치는 가격이... 찾아볼 엄두도 못내고 있네요) 고려하고 있진 않습니다

안철현 2023-09

속도저하라기 보다는
데이터 인코딩 방식에 따른 효율성 차이입니다.

새옹지마아 2023-09

기본적으로는 IB 전용 프로토콜이 있고, TCP/IP가 워낙 대세다보니 IP위에 TCP/IP 드라이버를 올린거로 알고 있습니다.
하드웨어 IB 위에 TCP/IP를 얹어 쓰던가, 아니면 RDMA API같은 걸 바로 쓰던가 뭐 그런 식인 것 같은데
(요샌 RDMA를 이더넷, IB 가릴 거 없이 다 지원해서 차이가 없어졌긴 합니다),
저도 IP over IP 밖에는 써보질 못해서(TCP/IP가 워낙 대세죠) 더 이상은 모르겠네요.
질문에서 GBIC은 OSI 레이어에서 하드웨어 계층인 1계층이라서
소프트웨어 계층인 3계층의 IP over IB의 사용 여부와는 상관이 없어야 정상입니다.

구차니 2023-09

전기적 신호를 광으로 바꾸어주는거니 상관이 없어야 하는데 이론적이긴 한데
업체마다 서로 다른거 봐서는 표준화가 덜 되었나 싶어서 혹시나 하는 마음에 ib/ip 모드 별로 gbic도 달라지나 궁금했습니다.

그럼 ib 자체 프로토콜 보단 rdma로 쓰거나 ip over ib 로 기존 소켓으로 통신하던가 인가 보군요.
그렇다면 rdma를 공부해야지 ib 자체 프로토콜은 현시점에서 시도해볼 이유가 크지 않겠네요.

답변 감사합니다.

박문형 2023-09

멜라녹스 카드 중에 IB 전용인 모델과 이더넷 전용모델 그리고 두가지를 같이 지원하는 모델이 있습니다..

두가지를 같이 지원하는 모델은 펌웨어를 바꾸어 줌으로써 IB 모드와 이더넷 모드로 바꿀 수가 있습니다..

그리고 멜라녹스 카드는 카드 종유가 꽤 많습니다만 그 카드들의 세대를 구분하는 것이 칩셋 모델입니다..

Connect-X 3/4/5 이런 식으로 세대가 크게 구분되며 칩셋에 따라 인터페이스 속도 PCIe 속도 드라이버 지원이 다 달라집니다..

구차니 2023-09

회사는 아니고 개인적으로 공부할겸 만져보고 싶은거라 구식이라도 싼거면 좀 업어와볼까 고민중인데...
추석이 다가오고 하니 지출을 줄여야 할 때라서 고민이네요 하하하 ㅠㅠ

박문형 2023-09

IB 카드던 스위치든 멜라녹스 제품  장터에 쓸만한 것 꽤 올라옵니다..

가격도 그리 나쁘지는 않고요..

단 모델에 따라 특징들이 있기에 덥석덥석 구매했다가 자기가 원하는 기능이 안되는 경우가 있습니다..

그래서 구매전에 잘 아는 사람을 통해 정도를 얻거나 질문을 통해 제품 모델을 권장 받을 것을 권해드립니다..

구차니 2023-09

ethernet과는 또 다른것 같은 경험해보지 못했던 분야라
아직 편하게(?) 고를 만큼 충분한 기반지식이 없어서 공부해야 할 것 같습니다.
이것도 40G가 일반화 되면 의미가 없어지게 되려나요 ㅎㅎ

안철현 2023-09

ip over ib를.해본다면...그냥 이더넷과 동일합니다.

ib전용으로 경험(?)하시려면 ib api를 이용한 별도 구현(?)이 필요해서.. 일반유저들은 별로 해볼 수 있는게 없습니다.

구차니 2023-09

일단은 리눅스 프로그래머라서 일반유저 보다들 보다는 조금더 만져볼 꺼리는 있겠네요 ㅎㅎ

박문형 2023-09

개인적으로 10G Copper IB 스위치가 있지만 장비가 시끄럽기도 하고 사용 목적이 없기에 나이만 먹고 있죠..

거기 맞는 IB 카드도 있지만 옛날 OS나 지원하고 사용하는 컴퓨터에 꼽아보니 윈도우즈에서 노랑 마크나 뜨고 해서

거의 박물관 급입니다.. (케이블도 레어급인데 국내에서는 거의 보기 힘든 것이라 가격이 장난 아니더군요..)

참고로 IB 제품들은 본래 원칙적으로는 서버 OS만 지원합니다..

구차니 2023-09

그럼 일반적인 linux 에서도 작동안할 가능성이 있겠군요.
centos 정도(rhel)는 되어야 할까요?

안철현 2023-09

멜라녹스 기준으로 리눅스, 윈도우즈 서버/클라이언트 다 지원합니다.

EXSI는 8.0버전부터 CONNECTX-3 모델 까지는 지원하지 않구요

구차니 2023-09

가상화는 고려하지 않는데, native라면 connectx-3 이하 버전도 큰 문제는 없겠군요

박문형 2023-09

윈도우즈던 리눅스던 그래도 현재 시스템과 사용하려면 최소 connectx-3 이상 되어야 한다고 생각하고 있습니다..

connectx-3 라면 40G 까지는 구축 가능하며 멜라녹스 카드들은 UTP 전용 모델은 없습니다..

SFP+ 를 포함 여러가지 광 모듈을 지원합니다.. 특성도 덜 탑니다..

connectx-3 도 카드 모델에 따라 몇가지 세부 모델이 있습니다..

그 쪽은 안철현님이 더 잘 아실 듯,,

안철현 2023-09

native라도 connectx-3 정도되어야 40g가 다 나옵니다. connectx-2 모델은 규격은 qsfp+인데 포트당 인피니밴드 20g 정도가 max라는 이야기가 있더군요. 확인은 안해봤구요

구차니 2023-09

현재로선 그럼 coonectx-3 정도를 하한으로 잡아야겠군요. 감사합니다!

박문형 2023-09

IB 카드 모델 찍어서 구글링 해보면 거기에 맞는 펌웨어 드라이버 메뉴얼 트래블 슈팅등이 잘 나와 있습니다..

개인적으로 10G 이상에서 랜카드는 맬라녹스를 좋아라 하는데

다른 회사 제품들보다 열이 적게 나는 것으로 생각되고

드라이버 지원도 꽤 되며 (Connect-X 4 카드 어떤 모델은 윈도우즈 10 드라이버를 각 버젼별로 따로 지원 [뭔가 이유가 있겠죠..])

마더보드에 꼽았을때 다른 회사 제품들보다는 충돌이 거의 없습니다..

구차니 2023-09

만져본적이 없어서 일단은 만져보야 알 것 같습니다 ㅎㅎ
좋은정보 감사합니다!

안철현 2023-09

win10 드라이버가 윈10 빌드별로 있는데
아마 win10 초기에 OS 빌드 넘버별로 이런저런 변화가 많아서 그랬던것 같습니다