후지쯔 서버 10대를 샀는데, 네트워크 카드가 반만 작동합니다...하..

osthek83   
   조회 3160   추천 0    

 PRIMERGY RX2540 M6 를 10대를 샀는데, 서버마다 10기가 짜리 4port 카드가 두개 들어가 있습니다. 근데 이중에 한카드 즉 4포트만 작동하고 나머지는

작동을 안하는데, 후지쯔 측에서도 원인을 못찾고, 지금 난감한 상황입니다..

정확히 이야기 하면 딱 1대는 정상으로 다 작동하는데 그래서 더 문제입니다....10대모두 같은 설정, 같은 펌웨어, 같은 스위치에 같은 breakout 케이블로 연결되어있어서, 도저히 원인을 모르겠습니다. 스위치랑, iRMC 쪽 포트는 전부 up 이고 connected 라고 나오는데 속도란에 NA 라고 표시되고, vcenter 에서는 down 으로 나옵니다..

보이면 아시겠지만 OCP 라는 모듈쪽만 작동이 되지 않습니다...혹시 이와같은 상황에서 더 테스트하거나, 뭔가 시도해 볼만한 조치가 있을까요?

주문한 10대가 2U 짜리인데, 그거말고 !U 짜리로 후지쯔 10대를 같이 주문했는데, 거기에 있는 랜카드는 모두 정상 작동됩니다. 거기에도 같은 스위치랑 케이블을 썼습니다...차이라면 1U 짜리에는 OCP 가 아니라 pci 슬롯으로 되어있습니다..혹시 몰라서 참고로 스샷 올립니다..포트가 반반 up 된것은 여기서 케이블을 반반 연결해서 그렇지 문제가 있어서 그런건 아닙니다.



OCP 카드가 서버에 아예 용접이 되어있어서 따로 저 부분만 교체도 안되서, 후지쯔 쪽에서도 난감하고, 저희도 난감합니다...ㅠㅠ

짧은글 일수록 신중하게.
박문형 2022-12
글로만 볼때 원인 찾기가 애매합니다만 아마 이런 것들 때문에 동작이 재대로 안될 수도 있습니다..

OCP 카드가 달려 있다면 OS에서 OCP카드 칩셋이 인식하는지 동작하는지 확인하시고

아마도 SFP+ 에 광모듈 연결해서 스위치쪽으로 붙였을 듯한데 광모듈이 10대가 다 같은 것인지 아닌지 확인해보세요..

광모듈과 광케이블은 보통 두가지가 쓰입니다..  싱글모드용과 멀티모드용

통신시에는 양쪽 광모듈과 케이블이 다 같은 모드 제품이여야 통신이 됩니다..

광 파장의 길이가 멀티모드는 850nm 싱글모드는 1350nm 입니다..


그 외에 광모듈이 고장이 나더라도 통신이 재대로 안됩니다.. (케이블도 꼽을때 방향과 순서가 있는데 그것도 확인해봐야 합니다..)

잘 되는 것이 1대 있다면 그 광모듈을 빼서 다른 시스템에 꼽아서 정상 동작하는지 확인해보세요..

그리고 후지쯔 측에 광모듈만 빼서 바꿔도 되는지도 문의해보세요..

제조사에 따라 시리얼 넘버까지 따져서 이 시스템에는 이런 시리얼넘버 장비밖에 못 꼽습니다 라고 할 수도 있습니다..
엠브리오 2022-12
"Status OK" 인걸로 보아, 칩셋의 문제는 아닌듯 하고요.

광케이블이나 광모듈, 혹은 스위치의 호환성 문제이거나..
암튼 연결 인터페이스의 문제로 보입니다.
레인보우7 2022-12
OCP 네트워크 모듈이 광모듈(GBIC) 호환성을 타는거 일수 있으니, GBIC를 체크해보시는것도 한방법일것 같습니다.
인털 호환성 GBIC 모듈 간혹 제대로 인식안되는경우도 있긴합니다.
후지 매뉴얼에 보니 모델명은 나와있네요.

INTEL FTLX8571D3BCV-IT Finisar
Page.243  : SFP+ GBIC
https://manuals.ts.fujitsu.com/isc_illustrated_spares/content/RX2540_M6/pdf/rx2540m6-umm-en.pdf

- Connectivity Technology : Wired
- Cabling Type : 1000base-sx, 10gbase-sr, 10gbase-sw
- Data Link Protocol : Gigabit Ethernet, 10 Gigabit Ethernet
- Data Transfer Rate : 10.3 Gbps
- Optical Wave Length : 850 Nm
- Max Transfer Distance : 980 Ft
박문형 2022-12
OCP 는 특별한 것은 아니고 슬롯 모양만 Open Compute Project 라는 플랫폼 규격에 맞추어 만든 것입니다..

실제 신호는 PCIe 신호입니다..

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=kinxtime&logNo=221066905264
안철현 2022-12
문제가 될만한 부분을 하나씩 축소해야하니..

1. OCP 카드 포트간 루프백 테스트
- 문제가 있는 OCP 카드에 DAC 케이블을 연결해서 링크 및 속도인식이 제대로 되는지 확인 (인텔 X710은 지빅 벤더락이 걸려있어서 광모듈은 인텔꺼만 동작 )
- 동일서버에서 문제가 있는 포트와 정상인 포트간  / 혹은 문제가 있는 서버와 정상인 서버간 1:1 연결
- 여기서 정상이면 서버/OS/카드 자체는 문제가 없을 가능성이 높음

2. 서버와 스위치간 확인
- QSFP/SFP+ Breakout 케이블을 이용하지 않고 SFP+ 케이블로 테스트해서 정상동작 여부 확인 ( 스위치에 SFP+ 포트가 있을 경우 )
- QSFP+ 포트만 있을 경우 스위치의 셋팅 확인
  (breakout 케이블 사용할 경우 대부분 스위치에 별도 셋팅 필요, 40G를 10G 4개로 쪼개기 한다고 설정해야 합니다. )

이래도 저래도 안되면, OCP카드와 스위치간 호환성에 무게를 ( 링크속도를 강제로 지정해보는 것도 방법. )
PCIE 카드로 된 서버에서는 동일케이블로 잘 동작하는 것으로 봐서 케이블 호환성 문제는 가능성이 낮구요.

더 세부적인 부분은 서버 로그와 스위치 로그를 바탕으로
전문가가 대응할 영역인것 같습니다.
안철현 2022-12
구글에서 관련 정보를 좀 찾아보니..
X710-DA4 어뎁터와 써드파티 Breakout 케이블간 호환성이 많이 안좋은 것 같습니다. 되는 케이블, 안되는 케이블 등등
어떤 유저는 링크속도를 강제로 설정했다는 이야기도 있네요.
박문형 2022-12
작년 /올해 디자인 되는 보드들이 온보드로 인텔 X710 칩셋을 사용하기 시작했는데 얼마나 이슈가 터질 지가 문제네요..

어짜피 해결은 인텔과 제조사가 해야겠지만요..

역시 10G 이상은 멜라녹스가 재일 속편해 보입니다..
     
레인보우7 2022-12
취미로 삽질하는 다른벤더사 장비가 한대 있는데
얘는 OCP3.0 Mellanox CX-4 버전이 들어가있네요.
나름 레시피 고민?하고 넣은건가 싶기도 합니다.
epowergate 2022-12
혹시 NIC이 Intel E810 계열이면 다른 문제가 있습니다.  E810이면 연락주세요
osthek83 2022-12
좋은 조언 감사합니다. 1월 초쯤 후지쯔에서 장비나 부품 교체하게 되면 후기 남기도록 하겠습니다.


QnA
제목Page 918/5708
2014-05   5143824   정은준1
2015-12   1677968   백메가
2018-10   3066   차평석
2017-04   3066   질문학생
2017-06   3066   빠시온
2019-04   3066   최시영
2020-12   3066   술이
2021-04   3066   1z2z
2019-03   3066   쌍cpu
2018-10   3066   스톤콜드
2019-12   3066   늘파란
2017-05   3066   bigmaster
2020-04   3066   심우철
2021-01   3066   hyunwoo3480
2020-05   3066   우루루루루루
2022-03   3066   땅부자
2019-06   3066   이지포토
2018-01   3066   머라카는데
2021-03   3067   건약
2020-12   3067   하나비
2019-04   3067   허인구마틴
2020-10   3067   그린