현재 10g로 내부망을 구성했는데요.
스위치에서 pc로 연결된 포트의 rx pause 수치가 10초에 5정도 올라가는데 이게 에러 카테고리에 있어서
문제가 있는게 아닌가 싶더라고요.
그래서 구글링을 해봤는데 대부분 영문인지라 이해도 안되고 그나마 이해가 되는 글에서...
저 수치가 올라가는 건 흐름제어 방법이니 정상이지만 저 수치가 올라가게끔 병목이 생기는 호스트는 점검을 해봐야 한다더군요.
nas-스위치-pc 의 레이드 없는 단일 하드 간의 전송인데 병목이 생긴다는게 확실히 이상해서 아래의 테스트를 해봤어요.
랜카드(x520-2)를 4x 슬롯에서 8x 슬롯으로 변경 - 효과 없음.
스위치 흐름제어 off - 카운트 속도가 더 빨라짐.
랜카드 흐름제어 off - 카운트는 멈춤. 근데 전송 시작시 마우스 포인트가 멈추는 등 이상 증상이 생김.
케이블 교체 - 효과 없음.
스위치 포트 변경 - 효과 없음.
지빅을 같은 인텔 지빅으로 교체 - 효과 없음.
시스코 1g 지빅으로 교체 - 카운트 멈춤.
링크속도를 1g로 변경 - 카운트 멈춤.
전송 속도를 ftp 클라이언트에서 100mb/s로 제한 - 효과 없음.
랜카드 드라이버 버전 변경 - 효과 없음.
패킷방향 pc <- 스위치 - 카운트 올라감.
패킷방향 pc -> 스위치 - 카운트 멈춤.
랜카드 수신버퍼 512 -> 4096으로 변경 -> 마우스 포인트가 간헐적으로 멈춤, 느려짐. 카운트 올라감.
저장장치를 ssd(nvme)로 변경 -> 카운트 올라감.
일부 설정변경시의 느려짐은 kaspersky가 원인.
추가
ftp 클라이언트 변경 - 효과 없음.
랜카드를 멜라녹스로 변경 - 효과 없음. 기본 수신버퍼가 4096인데 반해 더 빠르게 올라감.
kaspersky 방화벽 설정 변경/완전 종료 - 효과 없음.
위 테스트로 의심되는건 랜카드고 바꿀만한 것도 랜카드 같은데요.
변경 전에 저 수치가 올라가는게 정상인데 삽질을 하는 건 아닌지 좀 의견을 여쭤봐야 될거 같아서요.
아시는 분 계시면 답변 좀 부탁드려요.
이 얘기는 pc에서 어디선가 병목이 걸려서 더이상 데이터를 못 받으니 데이터 전송을 잠시 멈추어 달라고
rx pause 메세지를 스위치쪽으로 보내는 것입니다. 그래서
스위치 흐름제어 off - 카운트 속도가 더 빨라짐.
랜카드 흐름제어 off - 카운트는 멈춤. 근데 전송 시작시 마우스 포인트가 멈추는 등 이상 증상이 생김.
패킷방향 pc <- 스위치 - 카운트 올라감.
패킷방향 pc -> 스위치 - 카운트 멈춤.
위에서 말씀하신 바와 같이
스위치의 흐름제어를 off 하면 pc쪽에서는 더욱더 데이터 전송을 잠시 멈춰달라고 rx pause를 보내니 카운트는 더 빨리 올라갈테고
랜카드의 흐름제어를 off하면 rx pause를 보내지 않으니 카운트는 올라가지 않겠지만 병목 때문에 packet 드롭이 생기고 재전송 요청도 하다보니 pc쪽에서는 멈칫멈칫 하는 증상이 나타나는 것으로 생각됩니다.
ftp에서 100 MB/s로 제한을 거는것은 별의미가 없고(순간순간 데이터의 전송은 micro-second 단위에서 여전히 10 G 속도로 이루어 지므로)
지빅을 1 G로 바꾸거나 링크속도를 1 G로 fix한 경우에 카운트가 올라가지 않는다는 것은 1G 링크에서는 병목이 안 걸린다는 것입니다.
아무튼 결론적으로는 pc쪽에서 1G를 초과하는 대역폭의 데이터를 받는데 어디선가 병목이 걸린다는 얘기인데
말씀하신대로 하드웨어(랜카드)쪽에서 뭔가 마이너한 에러 때문에 그럴수도 있겠습니다만
pc쪽의 네트워크 관련 설정값(MTU나 kernel parameter 등)을 먼저 확인해보고
iperf같은 툴로 대역폭 측정 및 데이터 수신상황에서 PC의 cpu 사용률 및 다른 network 관련 카운터 값을 모니터링 해보는게 좋을 듯 합니다.
말씀주신 방법으로 다시 테스트를 진행해보겠습니다.
혹시나 싶어 os를 2019로 바꿔보고, 바이오스에서 pch쪽 전압도 만져보고, 랜카드 옵션을 이리저리 만져봐도 소용이 없고요.
근데 사용률이 1~30% 정도인데도 반응을 하는 걸 보면 성능 자체보다도 레이턴시와 관련된 뭔가가 있을듯 싶은데 모르겠네요.
멜라녹스가 인텔보다 수치가 더 많이 올라가는걸 보면 랜카드 자체의 성능도 중요한듯 싶고...
윤건님 말씀처럼 패킷을 주고 받는데 관련된 무언가가 있어보이고 또 미크로틱 스위치의 흐름 제어에도 뭔가가 있지 않나 싶지만
밝혀낼 능력이 안되어 이쯤에서 포기를 해야할듯 싶어요.