 PRIMERGY RX2540 M6 를 10대를 샀lj16;데, 서버마다 10기가 1676;리 4port 카드가 .160;개 들Ǻ12;가 1080;습니다. 근데 1060;1473;에 한카드 1593; 4포트만 1089;ᇼ1;Ȣ16;고 나머1648;lj16;
1089;ᇼ1;1012; 안Ȣ16;lj16;데, 후1648;4180; 측에서도 원1064;1012; 못찾고, 1648;금 DŽ12;감한 상황1077;니다..
1221;확7176; 1060;야기 Ȣ16;면 딱 1대lj16; 1221;상1004;/196; 다 1089;ᇼ1;Ȣ16;lj16;데 그래서 더 문1228;1077;니다....10대모.160; 같1008; 설1221;, 같1008; 6156;웨Ǻ12;, 같1008; 스위치에 같1008; breakout 케1060;블/196; 연결.104;Ǻ12;1080;Ǻ12;서, 도1200;7176; 원1064;1012; 모르,192;습니다. 스위치랑, iRMC 1901; 포트lj16; 1204;ǥ12; up 1060;고 connected 라고 나오lj16;데 속도란에 NA 라고 표시.104;고, vcenter 에서lj16; down 1004;/196; 나Ꮢ1;니다..
보1060;면 아시,192;1648;만 OCP 라lj16; 모듈1901;만 1089;ᇼ1;1060; .104;1648; 않습니다...ᕬ1;시 1060;와같1008; 상황에서 더 테스트Ȣ16;,144;나, 뭔가 시도해 볼만한 1312;치가 1080;1012;까요?
1452;문한 10대가 2U 1676;리1064;데, 그,144;말고 !U 1676;리/196; 후1648;4180; 10대를 같1060; 1452;문했lj16;데, ,144;기에 1080;lj16; 랜카드lj16; 모.160; 1221;상 1089;ᇼ1;.121;니다. ,144;기에도 같1008; 스위치랑 케1060;블1012; 썼습니다...차1060;라면 1U 1676;리에lj16; OCP 가 아니라 pci 슬ǘ15;1004;/196; .104;Ǻ12;1080;습니다..ᕬ1;시 몰라서 참고/196; 스샷 올립니다..포트가 0152;0152; up .108;,163;1008; 여기서 케1060;블1012; 0152;0152; 연결해서 그/111;1648; 문1228;가 1080;Ǻ12;서 그런,148; 아닙니다.
OCP 카드가 서버에 아예 용1217;1060; .104;Ǻ12;1080;Ǻ12;서 따/196; 1200; ǥ12;ǥ16;만 교체도 안.104;서, 후1648;4180; 1901;에서도 DŽ12;감Ȣ16;고, 1200;7148;도 DŽ12;감합니다...ㅠㅠ
OCP 카드가 달려 있다면 OS에서 OCP카드 칩셋이 인식하는지 동작하는지 확인하시고
아마도 SFP+ 에 광모듈 연결해서 스위치쪽으로 붙였을 듯한데 광모듈이 10대가 다 같은 것인지 아닌지 확인해보세요..
광모듈과 광케이블은 보통 두가지가 쓰입니다.. 싱글모드용과 멀티모드용
통신시에는 양쪽 광모듈과 케이블이 다 같은 모드 제품이여야 통신이 됩니다..
광 파장의 길이가 멀티모드는 850nm 싱글모드는 1350nm 입니다..
그 외에 광모듈이 고장이 나더라도 통신이 재대로 안됩니다.. (케이블도 꼽을때 방향과 순서가 있는데 그것도 확인해봐야 합니다..)
잘 되는 것이 1대 있다면 그 광모듈을 빼서 다른 시스템에 꼽아서 정상 동작하는지 확인해보세요..
그리고 후지쯔 측에 광모듈만 빼서 바꿔도 되는지도 문의해보세요..
제조사에 따라 시리얼 넘버까지 따져서 이 시스템에는 이런 시리얼넘버 장비밖에 못 꼽습니다 라고 할 수도 있습니다..
광케이블이나 광모듈, 혹은 스위치의 호환성 문제이거나..
암튼 연결 인터페이스의 문제로 보입니다.
인털 호환성 GBIC 모듈 간혹 제대로 인식안되는경우도 있긴합니다.
후지 매뉴얼에 보니 모델명은 나와있네요.
INTEL FTLX8571D3BCV-IT Finisar
Page.243 : SFP+ GBIC
https://manuals.ts.fujitsu.com/isc_illustrated_spares/content/RX2540_M6/pdf/rx2540m6-umm-en.pdf
- Connectivity Technology : Wired
- Cabling Type : 1000base-sx, 10gbase-sr, 10gbase-sw
- Data Link Protocol : Gigabit Ethernet, 10 Gigabit Ethernet
- Data Transfer Rate : 10.3 Gbps
- Optical Wave Length : 850 Nm
- Max Transfer Distance : 980 Ft
실제 신호는 PCIe 신호입니다..
https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=kinxtime&logNo=221066905264
1. OCP 카드 포트간 루프백 테스트
- 문제가 있는 OCP 카드에 DAC 케이블을 연결해서 링크 및 속도인식이 제대로 되는지 확인 (인텔 X710은 지빅 벤더락이 걸려있어서 광모듈은 인텔꺼만 동작 )
- 동일서버에서 문제가 있는 포트와 정상인 포트간 / 혹은 문제가 있는 서버와 정상인 서버간 1:1 연결
- 여기서 정상이면 서버/OS/카드 자체는 문제가 없을 가능성이 높음
2. 서버와 스위치간 확인
- QSFP/SFP+ Breakout 케이블을 이용하지 않고 SFP+ 케이블로 테스트해서 정상동작 여부 확인 ( 스위치에 SFP+ 포트가 있을 경우 )
- QSFP+ 포트만 있을 경우 스위치의 셋팅 확인
(breakout 케이블 사용할 경우 대부분 스위치에 별도 셋팅 필요, 40G를 10G 4개로 쪼개기 한다고 설정해야 합니다. )
이래도 저래도 안되면, OCP카드와 스위치간 호환성에 무게를 ( 링크속도를 강제로 지정해보는 것도 방법. )
PCIE 카드로 된 서버에서는 동일케이블로 잘 동작하는 것으로 봐서 케이블 호환성 문제는 가능성이 낮구요.
더 세부적인 부분은 서버 로그와 스위치 로그를 바탕으로
전문가가 대응할 영역인것 같습니다.
X710-DA4 어뎁터와 써드파티 Breakout 케이블간 호환성이 많이 안좋은 것 같습니다. 되는 케이블, 안되는 케이블 등등
어떤 유저는 링크속도를 강제로 설정했다는 이야기도 있네요.
어짜피 해결은 인텔과 제조사가 해야겠지만요..
역시 10G 이상은 멜라녹스가 재일 속편해 보입니다..
얘는 OCP3.0 Mellanox CX-4 버전이 들어가있네요.
나름 레시피 고민?하고 넣은건가 싶기도 합니다.