인피니밴드 스위치 Mellanox QM8700 질문드립니다!

이푸우   
   조회 5397   추천 0    

안녕하세요 선배님들 네린이 질문 드립니다!

제목과 같이 해당 장비를 셋팅 할 기회가 생겨서 이번에 시행착오를 겪으며
열심히 구성을 해보는 중인데, 너무 두서없이 진행을 하여 뭐가 어떻게 해서
통신이 가능하게 되었는지에 대해 이해가 너무 떨어집니다ㅠ
왜 리눅스 서버에서 어떠한 설정을 하고, 인피니밴드에 어떠한 설정을 해서 통신이 되는지에 대해 아직도 헷갈리네요...
그리고 QM8700의 데이터시트 상에는 QSFP56 40포트라고 되어있고 QSFP+에 대한 내용은 없는데,
QSFP+ 는 지원하지 않는지도 궁금합니다!
많은 선배님들의 조언 및 질타 부탁드립니다! 감사합니다!


장비 : Mellanox QM8700, Dell R760 서버 *2(Rocky Linux 8.6)

설정 사항 :

(1) QM 8700 : ib 0(192.168.0.1/24), web user interface O

(2) R760 (1) : ib 0(192.168.0.44/24), opensm 구동 중(QM8700 웹UI 상에서 Subnet Manager is running remotely 라고 관찰 됨)

(3) R760 (2) : 미설정

안철현 2024-01
보통은 QSFP58 - QSFP28 - QSFP+ 하위호환이 됩니다.
스위치와 서버사이에 IPoIB로 연결되어서 서로 통신하고 있습니다 ( QM8700는 인피니밴드 스위치네요.)
리눅스 서버에 설치된 (멜라녹스)어뎁터가 IB 모드로 동작하고
     
이푸우 2024-01
하지만 8700의 데이터시트에 QSFP+ 의 호환내용은 찾을 수가 없었습니다... (Dell S4128T-ON의 QSFP+/28포트와 연결 불가)
Dell S4128T-ON <-> QM8700 <-> R760 (1), (2) 연결을 해보았습니다ㅠ
제온프로 2024-01
OpenSM을 구동시키면.... 서브넷이 있다고 나옵니다.
Subnet Manager is running remotely

QM8700의 네트워크 Spec을 확인 하여야 합니다.  프로토콜이 지원 될 수도 있고. 아닐 수도 있고 해서..
     
이푸우 2024-01
서버 (1), (2) <-> 인피니밴드 <-> 서버 (1), (2) 이렇게 ping 은 서로 잘 왔다갔다 하는데 ibping은 수행 불가 상황입니다ㅠㅠ
[root@localhost ~]# ibping 192.168.40.44
ibwarn: [153453] _do_madrpc: recv failed: Connection timed out
ibwarn: [153453] mad_rpc_rmpp: _do_madrpc failed; dport (Lid 192)
ibwarn: [153453] _do_madrpc: recv failed: Connection timed out
ibwarn: [153453] mad_rpc_rmpp: _do_madrpc failed; dport (Lid 192)
---  (Lid 192) ibping statistics ---
3 packets transmitted, 0 received, 66% packet loss, time 4922 ms
rtt min/avg/max = 0.000/0.000/0.000 ms
epowergate 2024-01
QM8700은 ethernet switch가 아닙니다.
그렇기 때문에 Dell S4128T-ON과는 연결이 불가능 합니다
     
이푸우 2024-01
그렇군요... 답변 감사합니다!
제온프로 2024-02
그렇죠..
QM8700은 Ethernet Switch 아니고..
인피니벤드는 IP 주소를 쓰지 않고.. Mac Address 주소를 사용합니다.

위처럼
IP 주소를 더 해 주시려면..
IP over iB 를 설정하고..
각 호스트별 IP 주소를 지정한 후에 사용 가능해 집니다.

QM8700 Subnet를 가지고 있기 때문에 Node 들은 OpenSM를 실행할 필요 없습니다.. 혼선만.,..


제목Page 6/105
2024-01   6304   센토우노
2024-01   5385   돈대신몸으로
2024-01   5778   지펜
2024-01   5398   이푸우
2024-01   3540   생맥주
2023-12   3873   KGOON
2023-12   3881   생맥주
2023-12   4200   라이크유
2023-12   4195   INMD
2023-12   3194   Rainwalk
2023-12   3988   생맥주
2023-12   2736   Rainwalk
2023-12   2738   siruix
2023-12   2390   Rainwalk
2023-12   2197   Rainwalk
2023-12   4120   엘레오노르
2023-12   3682   TheSTREET
2023-11   3502   TheSTREET
2023-11   3352   TheSTREET
2023-11   3321   TheSTREET