윈도우 2012r2 서버간 SMB 공유 전송속도 문제

binary   
   조회 8367   추천 0    

동일 쿼드포트 NIC(broadcom netxtreme ii 5709 quad port)를 사용하고 윈도우 2012R2가 설치된 두 서버가 있습니다.

공유폴더 스토리지는 두 서버 모두 SSD입니다.(w/r 470mb)

SMB를 통해 두 서버가 파일을 공유하는데요. 여기서 문제가 생깁니다.

1.A 서버에서 B 서버 파일을 업/다운로드 시 속도가 150메가를 넘지 못합니다.

2.B 서버에서 A 서버 파일을 업/다운로드 시 250메가 정도가 나옵니다.

2번같은경우 네트워크의 상태나 설정등에 의해 4Gbps 속도가 나오지 않아도 납득이 가는데 1번같은 경우는 왜 그런지 이해가 안되네요.

2CPU와 구글링을 해봐도 SMB 3.0에 대해 특별한 설정이 없어도 어느정도의 속도는 나온다고 알고있는데요.

RSS의 영향이 있나 해서 NIC 옵션에서 RSS값을 8로 바꾼것 밖엔 없습니다. 그래도 1 2번증상은 여전하구요.

혹시 뭔가 꼬였나 해서 A서버를 재설치 해서 테스트 해도 동일한 증상입니다.

고수님들의 의견을 듣고싶습니다.

짧은글 일수록 신중하게.
송상병 2015-06
각 서버 상의 I/O가 대역폭을 지원 하는지 혹은 네트워크가 PCI-e 버스의 어느정도의 속도로 물려 있는지 확인이 필요 할 듯 합니다.
     
binary 2015-06
송상병님 답변 감사합니다.

각 서버에 Pci-e 8x g2(NIC 사양은 4x g2)로 물려있어 버스대역폭의 영향은 없습니다.
박문형 2015-06
각 포트의 IP가 다 달라야 SMB 3.0이 재대로 동작한다고 들었습니다.

여기 Q/A 댓글 뒤지면 나올 겁니다.
     
binary 2015-06
박문형님 답변 감사합니다.

C클래스 대역폭이 달라야하는 글도 봤는데 김윤술님 글이나 다른 회원분들의벤치 글을 봐도 딱히 클래스 대역을 다르게 설정하지 않았는데도 1nic당 1Gbps 근접하게 나오시더라구요.

물론 C클래스 대역을 각각 다르게 해서도 테스트 해봤지만 동일증상입니다.
김윤술 2015-06
1번 하드웨어 사양이 2번보다 좋거나 메모리가 더 많을경우 위와같은 증상이 가능합니다.
SMB는 일단 메모리부터 올려놓고 봅니다. 그리고 하드에 저장...
TCP 통신이다보니 CPU 영향을 많이 타게 됩니다.
binary 2015-06
김윤술님 답변 감사합니다.

A서버는 CPU e5-2609v2 듀얼 RAM 64G 이고 B서버는 CPU x3460 RAM 32G 입니다.

램과 CPU파워가 양쪽 다 넉넉해서 생각치 못했는데 램의 용량때문에 생길수도 있나보네요.
SMB 3.0 저도 골머리썩히고 있습니다.
서버, 데스크탑 모두 4Gbps로 연결되어있는 상태에서 데스크탑 -> 서버에서는 4Gbps 모두 나오는데 서버 -> 데스크탑에서는 1Gbps밖에 나오질 않습니다. 컴퓨터 재부팅시에는 업다운 모두 잠깐 4Gbps 나와주다가 업스트리밍은 결국 1Gbps밖에 안나오더군요;;

아직도 해결책을 찾고 있습니다.
     
binary 2015-06
저랑 같은 증상을 겪고 계시네요. 빨리 해결되었으면 좋겠습니다. 흑...
각 네트워크 NIC 의 서브넷을 나누어서 한번 해보시겠습니까?
     
binary 2015-06
친절한쿠키님 답변 감사합니다.

A 서버 192.168.101.23, 192.168.102.23, 192.168.103.23, 192.168.104.23
B 서버 192.168.101.33, 192.168.102.33, 192.168.103.33, 192.168.104.33

으로 테스트 해봤는데 오히려 그래프가 더 출렁거리고 속도가 반토막이 납니다.

구글링 검색으로 봤던 내용인데 다시해봐도 똑같네요.

cookis.net 주인장님 아니신가요? 블로그 잘 보고있습니다.^^
          
안 되시는군요;; windows 2012 처음 나왔을 때 lacp 로 구성했을 때 같은 결과를 얻었었는데요. (업/다운 대역폭 다름)
그래서 ms 쪽으로 기술지원을 받았었는데, 답변이 udp load balancing이 지원 되는 스위치를 쓰라고 받았습니다.
제 케이스에서는 lacp 였고 결과적으로는 케이스가 달라서 명확한 결론이 안 나긴 했지만요.
(smb 3.0 을 이용한 대역폭 증가가 lacp 를 이용할 수는 있지만, 반드시 필요한 건 아니라서)

그 이후에는 문제 없이 잘 되는 경우도 있고, 마찬가지로 업/다운 대역폭이 다른 경우도 있고.. 찾아보진 않았는데요.
get-smbclientNetworkInterface / get-smbConnection / Get-SmbMultiChannelConnection 등으로 구간을 한번 더 확인 해보시면 도움이 될 것 같습니다.
binary 2015-06
해결했습니다.

두 서버 운영체제 재설치, 스위치 초기화 한 후 4포트를 LACP로 묶어 세팅하니 450메가 찍네요.

어떤 원인이였는지는 모르겠지만 네트워크 영향이였던것 같습니다.


QnA
제목Page 2805/5730
2014-05   5267310   정은준1
2015-12   1792264   백메가
2015-06   3428   회원K
2015-06   14349   김승권
2015-06   3836   AplPEC
2015-06   3392   허진형ALpha
2015-06   6667   쌈밥정식
2015-06   4542   esca
2015-06   13633  
2015-06   5295   천외천oo노…
2015-06   4263   윈도우10
2015-06   6132   무아
2015-06   4243   윈도우10
2015-06   3687   ppdrakgi
2015-06   5442   미스타최
2015-06   6806   GICode
2015-06   6186   장동건2014
2015-06   8368   binary
2015-06   4896   김건우
2015-06   3843   AplPEC
2015-06   4519   FreeBSD
2015-06   7792   겨울나무