Infiniband기술에 대해서 조금만 아시면 결론은 바로 나옵니다.
Infiniband Switch의 관리형과 비관리형에 대해서 모르시는 분들이 많아 보이는데 우리가 일반적으로 아는 관리, Management,가 아닙니다.
Infiniband는 전체 Network을 관리하는 관리프로그램이 있습니다. "Fabric Manager"라고 합니다. 그냥 쉽게 설명하면 어떤 HCA (card)가 어떤 Switch의 PORT에 연결이 되어 있는지를 관리하는 프로그램입니다.
Infiniband Switch에서 관리형/비관리형의 차이는 이 "fabric manager"가 스위치에 내장되어 있는지 아닌지를 뜻합니다.
만약에 스위치에 포함되어 있으면 그것을 사용하면 되고, 아니면 사용하실 서버 중의 1대에서 이 fabric manager를 수행시킷기면 됩니다. 약 6년전부터 REDHAT 계열의 DISTRO에 Fabric Manager가 포함되어 있습니다. (물론 다운받아서 사용하실수도 있습니다). Windows용도 있습니다.
어차피 대부분의 사용자들이 그냥 사용하시기 때문에 별도의 설정없이 그냥 service로 돌리시면 됩니다.
아...그렇군요.
접할 기회가 없어 관련 기술에 대해 잘 모르다보니......도움 말씀 감사드립니다.
그럼...fabric manager 없이도 일반적인 이더넷용 관리형 스위치처럼 사용이 가능한가요? vLan 같은 기능은 있었으면 하거든요.
아니면 반드시 fabric manager 가 하나는 설치되어 있어야하는 것인지요?
우선 실수부터 바로 잡습니다.
Fabric_manager가 아니라 subnet_manager 입니다.
Linux에 open_sm 이라는 프로그램입니다.
아니요. subnet_manager는 꼭 있어야 합니다. 다만 스위치에 있을 필요는 없습니다.
vLan기능을 subnet_manager에서 할수는 있습니다.
그런데 무지 어렵습니다. 매뉴얼도 없습니다.
한국에 그거 할 수 있는 사람이 2-3명 정도밖에 없을겁니다. 장담하건데 Mellanox Korea engineer도 못합니다.
무슨 이유가 있나요?
그리고 제가 본(사진뿐이지만) 거의 모든 인피니벤드 스윗치는 관리용 콘솔이 있었습니다.
아무래도 사내에 있다보니...온도유지와 소음이 좀 이슈가 됩니다.
10G 를 살포시 포기하게 된 가장 큰 원인은...랜카드 발열문제였습니다.
지난 번에 테스트 삼아 구해왔던 팬달린 카드는 거의 제트기 소리가 나더군요. ㅠㅠ
사실상 그정도로 팬이 돌지 않으면 안될듯 보였습니다. 발열이 상당하더군요. 1U 장비에 넣기엔 좀 부담스러워서요.
인피니밴드는...뭘 모르다보니...제품 라인업 이해하는 것도 힘드네요.
서버까지는 그나마 좀 다뤄봤습니다만...네트웍 쪽은 공유기와 기본적인 라우팅 세팅 정도 외에는 거의 잘 모르다보니...고민만 많고 실천이 안되고 있습니다. ㅠㅠ
셋팅 방법 공부할려면 한참 해야 하고
스윗치 카드 셋팅도 셋팅이지만 공유하거나 한다면 소프트웨어 가격이 더 들어갑니다.
새제품이면 스윗치 돈천 이상
카드 개당 150이상
소프트웨어도 상황에 따라 돈 천 이상 들어갑니다.
시끄럽고 열마니 나는 것은 방하나 에어콘 처발라서 IDC화 해야 합니다.
대략 인피니벤드의 표준은 멜라녹스입니다.
스토리지만 생각한다면 요런 제품도 있습니다.
http://www.accusys.com.tw/products/switch/swf16-v2.html
공부를 좀 더 하면서 고민해보도록 하겠습니다.
2cpu고수분들의 히스토리를 보시면, 결국 서브넷내장의 스위치를 안살래야 안살수 없다!
라는 결론이 나오게 됩니다요...;
요런거가 아닐까 하네요.
보드도 싹 다 바꿔야 버틴다는
카드의 전체적인 개요.
http://www.mellanox.com/page/infiniband_cards_overview
일단은...공부부터 먼저 해야겠습니다. ;;;;
스위치 때문에 고민만 커져갑니다. ㅠㅠ
그리고 자본의 문제상 전 인피니벤드의 계보를 알게 되고 이베이에서 지르게 됩니다.
인피니벤드의 원천 기술을 가진 많은 업체들이 벤더에 OEM되거나 먹히거나 한 일이 워낙 많아서..
하지만 본문에 적으신 구상이라면 인피니밴드 말고 첼시오10G카드는 어떨까요?
스위치도 좀더 저렴하고요, 멜라녹스 인피니밴드와 마찬가지로
IWARP기능(멜라녹스에선 RDMA라고 불리우는)이 있어서..
어느정도 퍼포먼스를 원하시는진 모르겠으나 대안으로 알아보심도 좋을듯 싶습니다
Infiniband Switch의 관리형과 비관리형에 대해서 모르시는 분들이 많아 보이는데 우리가 일반적으로 아는 관리, Management,가 아닙니다.
Infiniband는 전체 Network을 관리하는 관리프로그램이 있습니다. "Fabric Manager"라고 합니다. 그냥 쉽게 설명하면 어떤 HCA (card)가 어떤 Switch의 PORT에 연결이 되어 있는지를 관리하는 프로그램입니다.
Infiniband Switch에서 관리형/비관리형의 차이는 이 "fabric manager"가 스위치에 내장되어 있는지 아닌지를 뜻합니다.
만약에 스위치에 포함되어 있으면 그것을 사용하면 되고, 아니면 사용하실 서버 중의 1대에서 이 fabric manager를 수행시킷기면 됩니다. 약 6년전부터 REDHAT 계열의 DISTRO에 Fabric Manager가 포함되어 있습니다. (물론 다운받아서 사용하실수도 있습니다). Windows용도 있습니다.
어차피 대부분의 사용자들이 그냥 사용하시기 때문에 별도의 설정없이 그냥 service로 돌리시면 됩니다.
접할 기회가 없어 관련 기술에 대해 잘 모르다보니......도움 말씀 감사드립니다.
그럼...fabric manager 없이도 일반적인 이더넷용 관리형 스위치처럼 사용이 가능한가요? vLan 같은 기능은 있었으면 하거든요.
아니면 반드시 fabric manager 가 하나는 설치되어 있어야하는 것인지요?
Fabric_manager가 아니라 subnet_manager 입니다.
Linux에 open_sm 이라는 프로그램입니다.
아니요. subnet_manager는 꼭 있어야 합니다. 다만 스위치에 있을 필요는 없습니다.
vLan기능을 subnet_manager에서 할수는 있습니다.
그런데 무지 어렵습니다. 매뉴얼도 없습니다.
한국에 그거 할 수 있는 사람이 2-3명 정도밖에 없을겁니다. 장담하건데 Mellanox Korea engineer도 못합니다.
그사람들 비쌉니다. 제가 하루에 250정보 받으니까 그들도 비슷할겁니다.
그냥 L2 Switch처럼 쓰는것이 좋습니다.