PRIMERGY RX2540 M6 를 10대를 샀는데, 서버마다 10기가 짜리 4port 카드가 두개 들어가 있습니다. 근데 이중에 한카드 즉 4포트만 작동하고 나머지는
작동을 안하는데, 후지쯔 측에서도 원인을 못찾고, 지금 난감한 상황입니다..
정확히 이야기 하면 딱 1대는 정상으로 다 작동하는데 그래서 더 문제입니다....10대모두 같은 설정, 같은 펌웨어, 같은 스위치에 같은 breakout 케이블로 연결되어있어서, 도저히 원인을 모르겠습니다. 스위치랑, iRMC 쪽 포트는 전부 up 이고 connected 라고 나오는데 속도란에 NA 라고 표시되고, vcenter 에서는 down 으로 나옵니다..
보이면 아시겠지만 OCP 라는 모듈쪽만 작동이 되지 않습니다...혹시 이와같은 상황에서 더 테스트하거나, 뭔가 시도해 볼만한 조치가 있을까요?
주문한 10대가 2U 짜리인데, 그거말고 !U 짜리로 후지쯔 10대를 같이 주문했는데, 거기에 있는 랜카드는 모두 정상 작동됩니다. 거기에도 같은 스위치랑 케이블을 썼습니다...차이라면 1U 짜리에는 OCP 가 아니라 pci 슬롯으로 되어있습니다..혹시 몰라서 참고로 스샷 올립니다..포트가 반반 up 된것은 여기서 케이블을 반반 연결해서 그렇지 문제가 있어서 그런건 아닙니다.
OCP 카드가 서버에 아예 용접이 되어있어서 따로 저 부분만 교체도 안되서, 후지쯔 쪽에서도 난감하고, 저희도 난감합니다...ㅠㅠ
OCP 카드가 달려 있다면 OS에서 OCP카드 칩셋이 인식하는지 동작하는지 확인하시고
아마도 SFP+ 에 광모듈 연결해서 스위치쪽으로 붙였을 듯한데 광모듈이 10대가 다 같은 것인지 아닌지 확인해보세요..
광모듈과 광케이블은 보통 두가지가 쓰입니다.. 싱글모드용과 멀티모드용
통신시에는 양쪽 광모듈과 케이블이 다 같은 모드 제품이여야 통신이 됩니다..
광 파장의 길이가 멀티모드는 850nm 싱글모드는 1350nm 입니다..
그 외에 광모듈이 고장이 나더라도 통신이 재대로 안됩니다.. (케이블도 꼽을때 방향과 순서가 있는데 그것도 확인해봐야 합니다..)
잘 되는 것이 1대 있다면 그 광모듈을 빼서 다른 시스템에 꼽아서 정상 동작하는지 확인해보세요..
그리고 후지쯔 측에 광모듈만 빼서 바꿔도 되는지도 문의해보세요..
제조사에 따라 시리얼 넘버까지 따져서 이 시스템에는 이런 시리얼넘버 장비밖에 못 꼽습니다 라고 할 수도 있습니다..
광케이블이나 광모듈, 혹은 스위치의 호환성 문제이거나..
암튼 연결 인터페이스의 문제로 보입니다.
인털 호환성 GBIC 모듈 간혹 제대로 인식안되는경우도 있긴합니다.
후지 매뉴얼에 보니 모델명은 나와있네요.
INTEL FTLX8571D3BCV-IT Finisar
Page.243 : SFP+ GBIC
https://manuals.ts.fujitsu.com/isc_illustrated_spares/content/RX2540_M6/pdf/rx2540m6-umm-en.pdf
- Connectivity Technology : Wired
- Cabling Type : 1000base-sx, 10gbase-sr, 10gbase-sw
- Data Link Protocol : Gigabit Ethernet, 10 Gigabit Ethernet
- Data Transfer Rate : 10.3 Gbps
- Optical Wave Length : 850 Nm
- Max Transfer Distance : 980 Ft
실제 신호는 PCIe 신호입니다..
https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=kinxtime&logNo=221066905264
1. OCP 카드 포트간 루프백 테스트
- 문제가 있는 OCP 카드에 DAC 케이블을 연결해서 링크 및 속도인식이 제대로 되는지 확인 (인텔 X710은 지빅 벤더락이 걸려있어서 광모듈은 인텔꺼만 동작 )
- 동일서버에서 문제가 있는 포트와 정상인 포트간 / 혹은 문제가 있는 서버와 정상인 서버간 1:1 연결
- 여기서 정상이면 서버/OS/카드 자체는 문제가 없을 가능성이 높음
2. 서버와 스위치간 확인
- QSFP/SFP+ Breakout 케이블을 이용하지 않고 SFP+ 케이블로 테스트해서 정상동작 여부 확인 ( 스위치에 SFP+ 포트가 있을 경우 )
- QSFP+ 포트만 있을 경우 스위치의 셋팅 확인
(breakout 케이블 사용할 경우 대부분 스위치에 별도 셋팅 필요, 40G를 10G 4개로 쪼개기 한다고 설정해야 합니다. )
이래도 저래도 안되면, OCP카드와 스위치간 호환성에 무게를 ( 링크속도를 강제로 지정해보는 것도 방법. )
PCIE 카드로 된 서버에서는 동일케이블로 잘 동작하는 것으로 봐서 케이블 호환성 문제는 가능성이 낮구요.
더 세부적인 부분은 서버 로그와 스위치 로그를 바탕으로
전문가가 대응할 영역인것 같습니다.
X710-DA4 어뎁터와 써드파티 Breakout 케이블간 호환성이 많이 안좋은 것 같습니다. 되는 케이블, 안되는 케이블 등등
어떤 유저는 링크속도를 강제로 설정했다는 이야기도 있네요.
어짜피 해결은 인텔과 제조사가 해야겠지만요..
역시 10G 이상은 멜라녹스가 재일 속편해 보입니다..
얘는 OCP3.0 Mellanox CX-4 버전이 들어가있네요.
나름 레시피 고민?하고 넣은건가 싶기도 합니다.