동일 쿼드포트 NIC(broadcom netxtreme ii 5709 quad port)를 사용하고 윈도우 2012R2가 설치된 두 서버가 있습니다.
공유폴더 스토리지는 두 서버 모두 SSD입니다.(w/r 470mb)
SMB를 통해 두 서버가 파일을 공유하는데요. 여기서 문제가 생깁니다.
1.A 서버에서 B 서버 파일을 업/다운로드 시 속도가 150메가를 넘지 못합니다.
2.B 서버에서 A 서버 파일을 업/다운로드 시 250메가 정도가 나옵니다.
2번같은경우 네트워크의 상태나 설정등에 의해 4Gbps 속도가 나오지 않아도 납득이 가는데 1번같은 경우는 왜 그런지 이해가 안되네요.
2CPU와 구글링을 해봐도 SMB 3.0에 대해 특별한 설정이 없어도 어느정도의 속도는 나온다고 알고있는데요.
RSS의 영향이 있나 해서 NIC 옵션에서 RSS값을 8로 바꾼것 밖엔 없습니다. 그래도 1 2번증상은 여전하구요.
혹시 뭔가 꼬였나 해서 A서버를 재설치 해서 테스트 해도 동일한 증상입니다.
고수님들의 의견을 듣고싶습니다.
각 서버에 Pci-e 8x g2(NIC 사양은 4x g2)로 물려있어 버스대역폭의 영향은 없습니다.
여기 Q/A 댓글 뒤지면 나올 겁니다.
C클래스 대역폭이 달라야하는 글도 봤는데 김윤술님 글이나 다른 회원분들의벤치 글을 봐도 딱히 클래스 대역을 다르게 설정하지 않았는데도 1nic당 1Gbps 근접하게 나오시더라구요.
물론 C클래스 대역을 각각 다르게 해서도 테스트 해봤지만 동일증상입니다.
SMB는 일단 메모리부터 올려놓고 봅니다. 그리고 하드에 저장...
TCP 통신이다보니 CPU 영향을 많이 타게 됩니다.
A서버는 CPU e5-2609v2 듀얼 RAM 64G 이고 B서버는 CPU x3460 RAM 32G 입니다.
램과 CPU파워가 양쪽 다 넉넉해서 생각치 못했는데 램의 용량때문에 생길수도 있나보네요.
서버, 데스크탑 모두 4Gbps로 연결되어있는 상태에서 데스크탑 -> 서버에서는 4Gbps 모두 나오는데 서버 -> 데스크탑에서는 1Gbps밖에 나오질 않습니다. 컴퓨터 재부팅시에는 업다운 모두 잠깐 4Gbps 나와주다가 업스트리밍은 결국 1Gbps밖에 안나오더군요;;
아직도 해결책을 찾고 있습니다.
A 서버 192.168.101.23, 192.168.102.23, 192.168.103.23, 192.168.104.23
B 서버 192.168.101.33, 192.168.102.33, 192.168.103.33, 192.168.104.33
으로 테스트 해봤는데 오히려 그래프가 더 출렁거리고 속도가 반토막이 납니다.
구글링 검색으로 봤던 내용인데 다시해봐도 똑같네요.
cookis.net 주인장님 아니신가요? 블로그 잘 보고있습니다.^^
그래서 ms 쪽으로 기술지원을 받았었는데, 답변이 udp load balancing이 지원 되는 스위치를 쓰라고 받았습니다.
제 케이스에서는 lacp 였고 결과적으로는 케이스가 달라서 명확한 결론이 안 나긴 했지만요.
(smb 3.0 을 이용한 대역폭 증가가 lacp 를 이용할 수는 있지만, 반드시 필요한 건 아니라서)
그 이후에는 문제 없이 잘 되는 경우도 있고, 마찬가지로 업/다운 대역폭이 다른 경우도 있고.. 찾아보진 않았는데요.
get-smbclientNetworkInterface / get-smbConnection / Get-SmbMultiChannelConnection 등으로 구간을 한번 더 확인 해보시면 도움이 될 것 같습니다.
두 서버 운영체제 재설치, 스위치 초기화 한 후 4포트를 LACP로 묶어 세팅하니 450메가 찍네요.
어떤 원인이였는지는 모르겠지만 네트워크 영향이였던것 같습니다.