Mellanox ConnectX-2 속도가 느립니다.

캔위드   
   조회 8352   추천 0    

사실 처음부터 속도가 3~4G 였는데요. (SMB의 파일복사 속도도 마찬가지로 3~400 MB/S)

http://2cpu.co.kr/hojak/2955

CPU문제인가 보다 하고 그냥 여태까지 써오고 있다가 오늘 점검을 한번 해보니 확실히 느립니다.


시스템 A - 10.1.1.8

Device : Mellanox ConnectX-2 Ethernet Adapter
FW : 2.9.1200
Driver Version : 5.25.12665.0

OS : Windows 10 pro
CPU : i7-4790K
Board : ASRock Z97 Extreme4
RAM : 32G


시스템 B - 10.1.1.111

Device, FW : 동일
Driver Version : 4.15.4.0
ESXi 6.0 - VM Windwos 10 pro
CPU : E5-2670 x 2
Board : Tyan S7050GM4NR
RAM : 128G


켑춰에 10.1.1.8 이 A 이고 10.1.1.111 이 10g광케이블로 esxi 에 연결된 하나의 vm B 입니다.
esxi 의 vm 끼리 가상 스위치 만들어 테스트 하는데 3~4G밖에 성능이 나오질 않아서
찾아봤더니 장비는 가상이여도 성능은 물리 device 를 따라 간다고 하기에 성능을 체크해 보니

PC의 멜라녹스 성능도 그렇고 esxi의 멜라녹스도 마찬가지로 3~4G로 체크가 됩니다.

체크는 A <-> A , A <-> B , B <-> B 다 해봤지만 대동소이 합니다.
그나마 A ( pc )는 Driver를 최신으로 업데이트 하니깐 1G정도 성능이 올라가긴 하네요.


장터에서 구매한건데
http://2cpu.co.kr/sell/140309

구매하자마자 바로 펌웨어 업데이트 하고 사용한게 문제일까요 ?
음.. 뭘 더 해봐야 할지 막막합니다.
고수님들 조언좀 부탁드립니다.



참고로 이벤트 뷰어에 멜라녹스 관련 경고 메세지들 입니다.

SingleFunc_2_0_0: Port #1 is configured to IB. Since IB is not supported in this device, it will automatically be configured to Ethernet instead. Check PortType registry key.

SingleFunc_2_0_0: RoCE v2.0 mode was requested, but it is not supported. The NIC starts in RoCE v1.0 mode.
 NOTE: If your environment contains mix of different NIC types, you need to make sure that the whole environment is configured to use the same RoCE mode,
 otherwise the traffic between the different NICs does not work.

Mellanox ConnectX-2 Ethernet Adapter device reports that the "QOS (ETS) capability is missing". The current firmware does not support the QOS (ETS) capability. Please burn the latest firmware and restart your machine. (The issue is reported in Function SetHardwareAssistAttributes).

The File Transfer (SMB) performance may be affected as Network Direct functionality is not supported in ConnectX-2 firmware version.

짧은글 일수록 신중하게.
jang 2017-02
백신이나 방화벽 프로그램 쓰시나요?
     
캔위드 2017-02
A 는 어베스트, B 는 사용 안합니다.
혹시 몰라서 방금 어베스트 꺼보고 해봤는데 전혀 변함이 없네요...ㅠ

참고로 MTU 값도 다양하게 변경해 봤지만 속도가 오히려 저하될뿐 올라가진 않았습니다.
          
jang 2017-02
저도 처음에 속도가 잘 안나오고 들쭉날쭉해서 나중에 알았지만 백신에 있는 방화벽에 문제더라구요. 백신 방화벽 꺼버리니까 잘나왔습니다. 전 카스피키퍼
          
악마라네 2017-02
방화벽 있는 백신 일시 중지 해서 꺼도 해결 안나더군요.

아예 언인스톨 했더니 속도 올라오더라구요.

또하나 VMWARE 깔려 있어서 가상 네트웍 있으면 속도저하가 더 됩니다.
HP n36L 같은 저사양 컴퓨터에서도 iperf3 는 9기가 넘게 나오더군요.
          
캔위드 2017-02
어베스트에는 방화벽 기능을 선택하지 않았고요 ( 백신 방화벽 X )
윈도우 방화벽은 사용중이였는데 그걸 사용안함으로 바꾸고 테스트 해보니 5G 까지는 나옵니다. ( A <-> A )
신현준 2017-02
*비밀글입니다
     
캔위드 2017-02
iperf는 스토리지랑 상관없지않나요 ?
아무튼 스토리지는
850 pro 3 개 raid 0 (온보드)
4T 8 개 raid 0 (asr-71605) 로 둘다 1G정도는 나와줍니다.
2017-02
iperf에서 저정도라면 PCI-E 버스쪽 문제 아닐까요?
버스에 병목이 있거나, 설정이 안맞거나등등..
iperf는 디스크까지 패킷이 내려가지 않으니 나머지 자원중에 CPU와 메모리쪽에 문제가 있어도 성능이 저하 될 수 있겠네요.
     
캔위드 2017-02
내부 복사 속도는 1GB/s나오는걸 봐서 cpu 메모리는 아닌 것 같고요.
pcie나 설정 문제 같은데
그게 PC도 그렇고 서버도 그렇고 테스트 피시도 그렇고 다 동일합니다. ㅠㅠ
박문형 2017-02
10G 싱글 멜라녹스 카드가 펌이 2가지 있는 것으로 아는데..

HP에서 나온 펌이 버젼이 더 높다고 알고 있습니다.

그 펌을 구할수 있다면 구해서 업해보시기 바랍니다..
     
캔위드 2017-02
멜라녹스 홈피는 2.9.1200 단 하나밖에 없고
hp는 아무리 찾아봐도 펌웨어는 없고 driver만 있네요...OTL

그냥 비슷해 보이는 펌웨어 찻아서 적용해 보니 맞지 않는다고 아에 되지도 않는군요...
그냥 포기하고 4G로 써야겠습니다. ㅠㅠ
눈팅돌이 2017-04
이거 펌웨어 어떻게 업데이트하는건가요 저두 속도가 왜 안나오는지모르겠습니다
     
캔위드 2017-04
아... 방법을 암기하고 있지는 않아서.. 공홈에 보면 펌웨어 업데이트 툴이 따로 있습니다. 그거 다운로드 받고. 펌웨워도 더운로드 받아서 하시면 됩니다.

그런데 업대이트 전 후도 전혀 차이 없고요.
저한테 업데이트 된거랑 안건거랑 2개씩 있는데 테스트 해보면 속도는 동일합니다 (둘다 느려요)
효과가 있는건 윈도우 드라이버 5.22로 했을때 쬐끔 빨라졌고
꼬 어베스트라고 백신 완전삭제 (사용안함이 아니라 퍼팩트 삭제)하니깐 또 조금 빨라졌고
방화벽을 끄니깐 또 조금 빨라졌지만 그래봐야 여전히 느리네요.
똑같은 상황 (하드웨어)에서 우분투릭눅스는 제속고가 나오는걸 봐서 윈도우 문제가 싶은데 저는 클린 윈도우로 해도 마찬가지니 참으로 이상하네요


QnA
제목Page 2089/5725
2015-12   1767171   백메가
2014-05   5241877   정은준1
2017-02   4965   질문학생
2017-02   11895   신우섭
2017-02   5348   컴박
2017-02   5415   김건우
2017-02   5394   PAMA머리
2017-02   6087   DOSS
2017-02   5889   isaiah
2017-02   48076   goodsense
2017-02   5969   별가
2017-02   5854   미수맨
2017-02   5211   Win31
2017-02   7410   황혼을향해
2017-02   11041   건약
2017-02   5502   김현우1
2017-02   5819   으라차차차
2017-02   4556   오리고니
2017-02   5126   장동건2014
2017-02   9720   듀얼cpu
2017-02   5627   제라드TN
2017-02   5210   H4CHI