안녕하세요 선배님들 네린이 질문 드립니다!
제목과 같이 해당 장비를 셋팅 할 기회가 생겨서 이번에 시행착오를 겪으며
열심히 구성을 해보는 중인데, 너무 두서없이 진행을 하여 뭐가 어떻게 해서
통신이 가능하게 되었는지에 대해 이해가 너무 떨어집니다ㅠ
왜 리눅스 서버에서 어떠한 설정을 하고, 인피니밴드에 어떠한 설정을 해서 통신이 되는지에 대해 아직도 헷갈리네요...
그리고 QM8700의 데이터시트 상에는 QSFP56 40포트라고 되어있고 QSFP+에 대한 내용은 없는데,
QSFP+ 는 지원하지 않는지도 궁금합니다!
많은 선배님들의 조언 및 질타 부탁드립니다! 감사합니다!
장비 : Mellanox QM8700, Dell R760 서버 *2(Rocky Linux 8.6)
설정 사항 :
(1) QM 8700 : ib 0(192.168.0.1/24), web user interface O
(2) R760 (1) : ib 0(192.168.0.44/24), opensm 구동 중(QM8700 웹UI 상에서 Subnet Manager is running remotely 라고 관찰 됨)
(3) R760 (2) : 미설정
스위치와 서버사이에 IPoIB로 연결되어서 서로 통신하고 있습니다 ( QM8700는 인피니밴드 스위치네요.)
리눅스 서버에 설치된 (멜라녹스)어뎁터가 IB 모드로 동작하고
Dell S4128T-ON <-> QM8700 <-> R760 (1), (2) 연결을 해보았습니다ㅠ
Subnet Manager is running remotely
QM8700의 네트워크 Spec을 확인 하여야 합니다. 프로토콜이 지원 될 수도 있고. 아닐 수도 있고 해서..
[root@localhost ~]# ibping 192.168.40.44
ibwarn: [153453] _do_madrpc: recv failed: Connection timed out
ibwarn: [153453] mad_rpc_rmpp: _do_madrpc failed; dport (Lid 192)
ibwarn: [153453] _do_madrpc: recv failed: Connection timed out
ibwarn: [153453] mad_rpc_rmpp: _do_madrpc failed; dport (Lid 192)
--- (Lid 192) ibping statistics ---
3 packets transmitted, 0 received, 66% packet loss, time 4922 ms
rtt min/avg/max = 0.000/0.000/0.000 ms
그렇기 때문에 Dell S4128T-ON과는 연결이 불가능 합니다
QM8700은 Ethernet Switch 아니고..
인피니벤드는 IP 주소를 쓰지 않고.. Mac Address 주소를 사용합니다.
위처럼
IP 주소를 더 해 주시려면..
IP over iB 를 설정하고..
각 호스트별 IP 주소를 지정한 후에 사용 가능해 집니다.
QM8700 Subnet를 가지고 있기 때문에 Node 들은 OpenSM를 실행할 필요 없습니다.. 혼선만.,..