서버에 인피니밴드 카드를 장착하여
인피니밴드 스위치와 연결 하려고하는데 통신이 되고있지 않습니다
구성은 아래 와 같은데 어느부분에 문제가 있는지 도움요청을 드립니다
서버구성
모델명 - Dell R740XD
인피니밴드 NIC 모델 - MCX 455A-ECAT ConnectX-4 VPI adapter card, EDR IB
연결 Cable - MCP1600-E003 QSFP28 IB EDR up to 100Gb/s 3M Passive Copper DAC Cable (3m)
인피니밴드스위치
모델명 - Sun Oracle 인피니밴드 Swithc36
(QDR 40G 제품으로 알고 있습니다)
증상 - 서버 와 스위치쪽 통신이 되고 있지않습니다(서버 NIC쪽에서 LED 잠깐 on후 LED off)
1. 스위치 인터페이스가 enable 되어 있나 확인
2. 리눅스 NIC 인터페이스가 정상적으로 up 되어 있는지 확인
3. dmesg에서 mlx4_core 로그 확인, Link Negotiation이 이루어지나 체크
4. 스위치와 NIC가 모두 정상이라면 Link Speed를 강제로 고정해 볼 것
5. NIC 펌웨어를 최신으로 업그레이드
참, Mellanox OFED는 설치하셨죠?
혹은 인피니티 모드로 동작하는지 확인해보세요.
인피니티 이더넷 vip 3개 모드가 있는데
이더넷 모드로 설정되어 있을 수도 있어요
멜라녹스 모드를 변경 하는게 있는줄 몰랐네요
모드 변경에 대하여 혹시 어떻게 구글 검색하면 되는지 조언좀 해주실수 있으실까요?
Win-OF2 사용
윈도 장치 관리자에서 네트워크 인터페이스서
멜라녹스가 어떤 장치로 설정되어 있는지 확인해보시면 됩니다.
인피니티 밴드 장치로 되어 있는 경우 ConnectX-3 IB 뭐시기로 되어 있고
이더넷 장치로 되어 있는 경우 ConnectX-3 Ethernet 뭐시기로 되어 있습니다.
인피니티, 이더넷, VPI 모드 변경은
펌웨어 단에서 아예 고정을 시키시려면 아래 송주환님 링크 참고하셔서 mlxconfig 명령을 이용해서 설정하시면 됩니다.
스위치는 고객사 장비라 이부분도 확인은 해봐야 할 듯 합니다