1901;팔리면 1656;문Ȣ16;1648; 맙시다. 소1473;한 NJ13;변 댓글1012; 삭1228;Ȣ16;lj16;,148; ǥ12;-124;러운 1068; 1077;니다 
안녕Ȣ16;세요. SB7890 infinibend 스위치를 사용1473;1077;니다.
해NJ17; 스위치에 서버가 6대1221;도 물/140;1080;lj16;데 4대1032; OS를 1116;설치Ȣ16;,172; .104;었습니다
1116;설치후 2대lj16; 1221;상1201;1004;/196; 링크가 붙었1004;나 2대lj16; 다운링크1064; 상태/196; 스위치에서도 1452;황불/196; 1216;መ1;.104;며 통신1060; 안.104;네요..
1221;상1201;1064; 서버 1대1032; 케1060;블과 안.104;lj16; 서버1032; 케1060;블1012; 스왑해봤lj16;데 결과lj16; ᇼ1;1068;했습니다. 문1228;lj16; 1221;상1201;1064; 서버도 1452;황불1060; 들Ǻ12;오며 통신1060; 안.104;더라구요;;
스위치 문1232;가 dz10;Ǻ12; 스위치 1204;원1012; 내린 후 다시 올/160;더니 1204;체 포트LED가 1452;황불1060; 들Ǻ12;오면서 통신1060; 1204;ǥ12; -130;겼습니다..
해결0169;법1060; 1080;1012;까요? 관리콘솔도 없lj16; 모델1064;,163;같아서 Ǻ12;떻,172; 확1064;해야 할1648; ኔ1;ኔ1;Ȣ16;네요..
기존OS는 CentOS7.4, 신규로 설치한게 CentOS 7.9인데 해당 서비스 설치 없이 연결이 잘 되었었습니다
특별이 따로 설정한건 없고 네트워크매니저로 아이피만 넣어주면 동작했었는데
두대는 설치하자마자 언링크 상태, 한대는 케이블 스왑하니 언링크, 나머지 서버들은 스위치 전원 내렸다 올렸더니 전부 끊겨버렸습니다 ㅠㅠ
각 서버에서 opensmd 서비스 돌고있는지 확인해보고 서비스가 확인 안되면 1대에 서비스 올려보세요
[Pkgs] - OpenSM 설치
https://kb.linbit.com/enabling-rdma-support-in-linux
[ibstat]
https://www.ibm.com/docs/ko/aix/7.2?topic=i-ibstat-command
[mstconfig]
https://docs.nvidia.com/networking/display/RHEL9/SR-IOV+Configuration
# lspci | grep Mell
87:00.0 Infiniband controller: Mellanox Technologies MT28908 Family [ConnectX-6]
87:00.1 Infiniband controller: Mellanox Technologies MT28908 Family [ConnectX-6]
# mstconfig -d 87:00.0 query
# Set port mode to infiniband
mstconfig -d 87:00.0 set LINK_TYPE_P1=1