Mellanox® ConnectX®-5 adapters "host chaining" 방식 사용 문의 드립니다.
아래 파일에서 Storage Environments 구성 방식을 설명하는 블럭 다이어그램중
https://www.mellanox.com/files/doc-2020/pb-connectx-5-en-card.pdf
스위치 없이 dual 포트를 이용한 방식의 유용성 , 신뢰성에 대해서 고수님들의 조언을 부탁 드립니다.
그림 처럼 구성하면 고가의 스위치 없이 4개의 서버에서 이들 중 하나의 서버를 대용량 디스크를 구성해서 Filer로 사용시
문제점에 대한 문의 입니다. 당연히 스위치를 사용한 방식보다는 운영상 성능의 저하는 있겠지만 구성이 가능한지 , 또는 구성의 어려움이나
효용성이 있을지 궁금 합니다.
"host chaining" 방식을 운영 하고 계신 분의 경험과 조언을 부탁 드립니다.
OS는 REDHAT 7 또는 8을 사용 하고자 합니다.
구성하려는 서버들이 모두 PCIE 3.0까지 지원 하므로 ConnectX®-6나 ConnectX®-7을 사용하기에는 PCIE 스펙이 맞지 않아서
ConnectX®-5 의 100Gbps 듀얼로 구성 하려고 합니다.
또한 아래 그림 처럼 "NVIDIA Mellanox Multi-Host" 를 구성하면 위에 언급한 "host chaining" 방식에 비해서
성능면에서 좀 더 나을 듯 보입니다만 이를 구성하기 맨 아래 쪽에 있는 파트를 NVIDIA 에서 찾을 수 없습니다.
어떤 파트를 사용 해야 하나요?
가장 중요한건 infiniband는 불가능하고 ethernet으로만 가능합니다. 사실상 네트워크 카드에 스위칭을 추가하는 방식이라 그렇습니다.
NVIDIA Mellanox Multi-Host 아래쪽 파트는 실제로 존재하는것 같지는 않고 그림으로 만들어낸것 같습니다. 몇가지 말이 안되는 점이 보입니다 (커넥터의 위치가 이상하고, breakout 포트가 4개가 아니라 3개, DAC가 두라인, 등).
서버 대수에 따라 다르지만, MCX555A-ECAT랑 MCX556A-ECAT 이랑 200불 정도 차이가 나고 QSFP DAC까지 포함해서 생각하면, 두가지 방법 (스위치+싱글포트와 듀얼포트)의 가격이 생각보다 차이나지 않을겁니다.
100GbE 스위치 가격이 $20000 ~$30000 이라는 말을 들어서 "host chaining" 고려했던 것인데 아니라면
32 포트 이하 의 100G 스위치가 $2000 ~ $4000 정도의 모델이 어떤 모델이 있나요?
infiniband는 불가능하고 ethernet으로만 가능하다는 내용을 프로셔에서 찾을 수 있었는데
구글 검색으로만으로는 이것이 무쓴 뜻인지 알수가 없더군요.
MCX555A-ECAT랑 MCX556A-ECAT 설정을 infiniband mode 설정하는 방법과 ethernet mode로 설정하는 것이 어떤 차이가 있는 것인가요?
Pcie하고 pcie ecpander하고 함께써야하는데 호환성 많이 탑니다.
성능은 나쁘지 않습니다. 기대치만큼 나옵니다.
pcie expander 를 같이 쓴다는 의미는 서버의 PCIE 슬롯에 일반 PC처럼 장착되지 않고 옆으로 누워진 방향으로
PCIE 슬롯을 확장하는 것을 말씀 하시는 것이죠?
사용할 서버 기종은 Supermicro 6017R-72RFTP 와 6028R-E1CR12H 그리고 DELL R7910 에 사용하려고 합니다.
https://www.supermicro.com/products/system/1U/6017/SYS-6017R-72RFTP.cfm
https://www.supermicro.com/en/products/system/2U/6028/SSG-6028R-E1CR12H.cfm
위 세가지 기종에서 "호환성" 이슈가 있을까요?
"host chaining" 방식을 사용할때만 pcie expander compatibility issue가 있나요?
멜라녹스 100G가 네트웍 카드로 사용하는 일반적인 용도에서도 PCIE 확장 보드가 문제라는 의미 인가요?
후자라면 멜라녹스 100G가 네트웍 카드 호환성 확인을 Nvidia사에 문의 해야 할까요?
성능은 ... 기대치만큼의 의미는
스위치로 구성했을때에 보다 성능 저하는 있지만
10G 보다 빠르고 25G 쯤의 성능이 될 것이다 ? 라는 의미 일까요?
혹시 50G 정도의 쓰루풋을 기대할 수도 있나요?