구차니쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
장터 물건 보다 궁금해서 질문을 올려봅니다.
1.
IB나 SAN 장치를 이용하면
기존의 TCP/IP로는 작동이 불가능 한건가요?
2.
장터에 보면 ib 40G를 IP/IB 중에 고정해서 드린다고 기재되어 있는데
IB/IP 의 작동 모드는 런타임중에 바꿀수 없는것인가요?
혹은 firmware 수준에서 IB용과 IP용이 따로 구분되는건가요?
3. IP와 IB는 GBIC을 동일하게 쓸 수 있나요?
GBIC이야 광 트랜시버라서 NIC에서 주는 전기 신호를 광신호로만 바꿔주면 되니 문제는 알 될것 같긴한데
확신이 없어서 질문해 봅니다.
딸 넷 아들 하나 아빠 (큰 딸, 작은 딸, 왕큰 딸, 암 뭉뭉이, 수 뭉뭉이) - minimonk.net
멜라녹스 VPI 어뎁터는 ib eth 프로토콜을 둘다 지원하는 어뎁터라서 펌웨어단에서 고정시킬 수 있습니다.
간혹 auto로 동작을 안하는 경우가 있어서요.
윈도우즈는 런타임중 변경은 가능하지만 다른 내트워크 장치로 잡히면서 어뎁터가 리셋됩니다. 보통 변경하고 리부팅해줍니다.
3. IB ETH 광모듈은 동일합니다.
다만 같은 40g/100g 광모듈이라도 ib는 어뎁터에서 지원하는 데이터 인코딩 방식에 따라서 최대 속도가 약간 다를 수 있습니다.
1. 프로토콜이 달라서 서로 생짜로 호환은 안됩니다.
다만 터널링형태로 타 프로토콜을 인캡슐레이션해서 전송할 수 있지만 오버헤드로 인해 효율은 떨어집니다.
IP over IB / FC over Ethernet 등
1. FC SAN은 본 것 같은데, 아주 불가능하진 않다는 의미군요.
2. 펌웨어에서 고정한다는데 raid 카드 it ir 모드 처럼 다른 펌웨어를 써야 작동을 한다는건가요?
auto로 된다는건 펌웨어 상관없이 둘다 지원은 하는 것으로 생각이 되서요.
일단 윈도우 보단 리눅스 쪽으로 쓸수 있다면 써보고 싶어서 고민만 하고 있습니다(내무부장관님께서 돈이 없으시대서 ㅠㅠ)
3. 맞는 표현인진 모르겠지만
NIC에서 인코딩으로 인해 오버헤드가 생겨서 최대 대역폭은 동일하지만 실제 전송되는 데이터가 상대적으로 줄어드는 걸로 이해하면 될까요?
3. 40g 기준으로 인피니밴드에서 전송 인코딩 방식에따라서 최대속도가 좀 다릅니다.
인피니밴드 QDR 인코딩은 전기신호는 40G 이지만. 실제 데이터레이트는 32g인가 34g인가(기억이.가물가물) 정도입니다.
좋은내용 공유해주셔서 감사합니다!
지갑여유만 되면 개인적으로 사용해보게 40G ib 두개 + DAC 케이블 or GBIC + QSFP 케이블 을 다 구비해서 공부해보고 싶긴하네요 -_ㅠ
펌웨어 툴로 여러설정이 가능합니다.
요즘 시대에(?) SAN은 조금 보기 힘든것 같은데 IB는 그래도 조금 눈에 띄여서 어느게 다뤄볼만한지 고민이 되네요
순수 IB도 사용하는 곳은 적다라고 생각하지만 IB는 아직은 고속 이더넷과 함께 계속 발전할 구석은 있다라고 생각합니다..
현재 아마도 IB 장비 제조사는 멜라녹스 밖에 없을 겁니다..
IB 초기인 10G /20G 때만 해도 여러 제조사가 있었지만 다 통합되고 40G 때 가면 멜라녹스밖에 없다라고 보셔도 됩니다..
멜라녹스 (현재는 엔비디아가 흡수함) 장비가 IB의 표준이라고 봐도 되니 멜라녹스 장비를 알아보세요..
san은 다뤄본적이 있어서 한번쯤은 다뤄보고 싶긴한데 장래성이 없나보네요.
그럼 SAN도 10G나 40G 등으로 대체되서 사라지려나요?
속도가 아마 최고가 16G 아니면 32G 인데 HBA카드는 Qlogic 정도만 남아 있을 겁니다..
중고 장터에 보통 보이는 것이 8G 제품 들이고 스위치 같은 것은 중고 가격보면 심하게 말해서 쇠값입니다..
옛날에는 판매되어 사용되었지만 현재는 사용자가 거의 없어 구매수요가 거의 없다라고 보시면 됩니다..
SAN 와 이더넷 그리고 IB는 완전히 다른 3가지로 저는 생각하기에 SAN 같은 경우는 그것을 사용할 수 밖에 없는 금융권 같은 곳에서
연명은 하겠지만 일반적인 IDC 센터나 서버 시장에서는 없어질 것으로 보입니다..
감사합니다 ^^
2. IP over IB는 소프트웨어 계층이고, 하드웨어와는 상관 없습니다. 그리고, IB를 사용하는 장비들이 이더넷 NIC도 가지고 있으며, IB노드끼리는 IB통신을 하거나 IP over IB 통신을 하고, 외부와는 이더넷 통신을 합니다. 내/외부 둘이 IP 주소가 다르기 때문에 내부 노드끼리도 이더넷을 통한 IP통신을 할 수도 있습니다.
3. IP는 소프트웨어, IB는 하드웨어입니다. 서로 계층이 다릅니다. 이더넷 포트의 GBIC과 IB의 GBIC 얘기시라면, GBIC은 이더넷끼리도 호환이 잘 안되는데, 가능할 지?
일단 gbic은 광 허브 없이 1:1로 물려서 써보는 식으로
비용을 최소화 해서 써보고 싶어서 고민중인데
ib가 ip/ib 로 모드 바꾸어서 쓸 수 있다면 ip 모드와 ib 모드에 따라 gbic이 바뀌어야 하나가 궁금했습니다.
즉, gbic 자체의 호환성 개념으로 아무 gbic이나 쓸수 있어요?의 질문은 아니었습니다.
이더넷 어뎁터로 하시면 간단히구요.
ib어뎁터로도 할 수 있는데..
IP over IB로 가능합니다.
멜라녹스 기준으로..
동일하드웨어로 두가지 방식 다 가능합니다.
참고로 멜라녹스 dac 케이블류는 이더넷. 인피니밴드. VPI 케이블 별로 모델이 좀 다르고
어뎁터나 스위치랑 조합이 안맞으면 최대 속도가 제한될 수 있습니다. ( 주로 100G 이상 )
이게 다~~~ 3년전 국책과제로 조사하던 탓입니다.
멜라녹스 DAC 케이블로는 모델이 다르다면 하나만 사서는 ib / ip 모드에서 속도 저하 외에도 다른 문제가 있을수 있다는 말씀이신가요?
어짜피 돈이 없어서 스위치 까진 고민하지 못해(ib 스위치는 가격이... 찾아볼 엄두도 못내고 있네요) 고려하고 있진 않습니다
데이터 인코딩 방식에 따른 효율성 차이입니다.
하드웨어 IB 위에 TCP/IP를 얹어 쓰던가, 아니면 RDMA API같은 걸 바로 쓰던가 뭐 그런 식인 것 같은데
(요샌 RDMA를 이더넷, IB 가릴 거 없이 다 지원해서 차이가 없어졌긴 합니다),
저도 IP over IP 밖에는 써보질 못해서(TCP/IP가 워낙 대세죠) 더 이상은 모르겠네요.
질문에서 GBIC은 OSI 레이어에서 하드웨어 계층인 1계층이라서
소프트웨어 계층인 3계층의 IP over IB의 사용 여부와는 상관이 없어야 정상입니다.
업체마다 서로 다른거 봐서는 표준화가 덜 되었나 싶어서 혹시나 하는 마음에 ib/ip 모드 별로 gbic도 달라지나 궁금했습니다.
그럼 ib 자체 프로토콜 보단 rdma로 쓰거나 ip over ib 로 기존 소켓으로 통신하던가 인가 보군요.
그렇다면 rdma를 공부해야지 ib 자체 프로토콜은 현시점에서 시도해볼 이유가 크지 않겠네요.
답변 감사합니다.
두가지를 같이 지원하는 모델은 펌웨어를 바꾸어 줌으로써 IB 모드와 이더넷 모드로 바꿀 수가 있습니다..
그리고 멜라녹스 카드는 카드 종유가 꽤 많습니다만 그 카드들의 세대를 구분하는 것이 칩셋 모델입니다..
Connect-X 3/4/5 이런 식으로 세대가 크게 구분되며 칩셋에 따라 인터페이스 속도 PCIe 속도 드라이버 지원이 다 달라집니다..
추석이 다가오고 하니 지출을 줄여야 할 때라서 고민이네요 하하하 ㅠㅠ
가격도 그리 나쁘지는 않고요..
단 모델에 따라 특징들이 있기에 덥석덥석 구매했다가 자기가 원하는 기능이 안되는 경우가 있습니다..
그래서 구매전에 잘 아는 사람을 통해 정도를 얻거나 질문을 통해 제품 모델을 권장 받을 것을 권해드립니다..
아직 편하게(?) 고를 만큼 충분한 기반지식이 없어서 공부해야 할 것 같습니다.
이것도 40G가 일반화 되면 의미가 없어지게 되려나요 ㅎㅎ
ib전용으로 경험(?)하시려면 ib api를 이용한 별도 구현(?)이 필요해서.. 일반유저들은 별로 해볼 수 있는게 없습니다.
거기 맞는 IB 카드도 있지만 옛날 OS나 지원하고 사용하는 컴퓨터에 꼽아보니 윈도우즈에서 노랑 마크나 뜨고 해서
거의 박물관 급입니다.. (케이블도 레어급인데 국내에서는 거의 보기 힘든 것이라 가격이 장난 아니더군요..)
참고로 IB 제품들은 본래 원칙적으로는 서버 OS만 지원합니다..
centos 정도(rhel)는 되어야 할까요?
EXSI는 8.0버전부터 CONNECTX-3 모델 까지는 지원하지 않구요
connectx-3 라면 40G 까지는 구축 가능하며 멜라녹스 카드들은 UTP 전용 모델은 없습니다..
SFP+ 를 포함 여러가지 광 모듈을 지원합니다.. 특성도 덜 탑니다..
connectx-3 도 카드 모델에 따라 몇가지 세부 모델이 있습니다..
그 쪽은 안철현님이 더 잘 아실 듯,,
개인적으로 10G 이상에서 랜카드는 맬라녹스를 좋아라 하는데
다른 회사 제품들보다 열이 적게 나는 것으로 생각되고
드라이버 지원도 꽤 되며 (Connect-X 4 카드 어떤 모델은 윈도우즈 10 드라이버를 각 버젼별로 따로 지원 [뭔가 이유가 있겠죠..])
마더보드에 꼽았을때 다른 회사 제품들보다는 충돌이 거의 없습니다..
좋은정보 감사합니다!
아마 win10 초기에 OS 빌드 넘버별로 이런저런 변화가 많아서 그랬던것 같습니다