NIC Teaming과 SMB Multi-channel 그리고 동시 사용 가능한 최대 물리 NIC 개수

PiPPuuP   
   조회 4309   추천 0    

음.... 일단 잘 되기는 하는데,...
채널 수가 NIC 숫자 뿐 아니라 CPU Core수에도 종속적인 듯 합니다.

i3 탑제한 스토라지 서버에서 NIC 4개를 묶고 해당 Team의 RSS를 켰지만 CPU Core 2개의 한계에 묶여서 2Channel밖에 안나오네요.

PS:> Get-NetAdapterRSS

Name
: Local Network
InterfaceDescription
: Microsoft Network Adapter Multiplexor Driver
Enabled
: True
NumberOfReceiveQueues
: 0
Profile
: NUMAStatic
Base Processor: [Group:Number]
: 0:0
MaxProcessor: [Group:Number]
: 0:2
MaxProcessors
: 2
RssProcessorArray: [Group:Number/NUMA Distance]
: 0:0/0  0:2/0


파일 전송 중 Switch에서 확인해봐도 2개의 NIC만 사용하고 있습니다.
이게 물리 NIC의 RSS와 의미가 완전히 같다면 결국 NIC 4개를 묶든 10개를 묶든 CPU 코어가 2개뿐이면 동시에 사용할 수 있는 NIC는 두개뿐이라는 이야기가 되나요?...
제가 맞게 보고 있는지 궁금합니다.

앞으로 티밍을 구성할 땐 이것도 고려해서 구성해야겠군요.
CPU를 바꿀까 2:2로 나눌까 고민하고 있습니다.

혹시 좀더 많은 코어에 티밍을 활용하시는 분들 중 티밍에서 2채널 이상 SMB Multi-channel 확보하신 분 계신가요?
나중에 여력이 되면 E3 업그레이드나 해보렵니다.
당신과의 거리 0.1m
짧은글 일수록 신중하게.
김제연 2017-03
cpu 와 .. 멀티채널과 관계가 있다는건 첨들어보네요 ..
그런데 .. 가정하신 부분은 아닌것 같습니다.. 왜냐하면
http://www.2cpu.co.kr/bbs/board.php?bo_table=QnA&wr_id=439471

2cpu 에도 .. 같은 분이 계십니다... i7 이지만 2개밖에 사용하지 않고 있습니다...
셋팅 문제거나 드라이버 버그거나 .. 디폴트가 2개거나 .. 뭐 그런게 아닐까요 .. 전 16포트 허브가 있고 .. 컴퓨터들이 남아 도는데 ..
막 빠른게 필요한 상황이 아니라서 ... 한번도 못해봤네요.
     
PiPPuuP 2017-03
저렇게 각각 풀어보질 않아서 확답은 못드립니다만...
제 경우에는 4개의 NIC를 Teaming 해놓았고, 제 추측에는 해당 팀NIC의 RSS체널이 두개밖에 잡히지 않아서 생기는 현상입니다.
Switch에서 체크 시 동시에 정확하게 두개의 NIC만 쓰고 있었습니다. 나머지 두개는 전혀 전송 안하고요.
          
RSS큐는 NIC에 따라서 4개나 8개가 있는데 기본으로는 CPU코어수만큼 잡히지만... 제 경우는 디폴트가 2로 되어 있어서 4로 변경했으나 뭐 어차피 NIC포트를 2개만 쓰고 있어서 영향은 없더군요. Disable해 둔 리얼텍 NIC도 멀티채널에 합류시켜서 시험해 봐야겠네요.
     
PiPPuuP 2017-03
2012 R2용 hotfix는 없나요? ㅜㅜ...
답변 감사드립니다.
해당 문제를 키워드 삼아 찾아보고 있습니다.
isaiah 2017-03
CPU 코어 자원을 땅겨오지 못하는것은 맞는데 그것때문에 채널이 재한되지는 않았던것 같은데요..

2코어 까지 당길 수 있는 구형 nic로 3채널 사용을 했엇던 지라..
     
PiPPuuP 2017-03
혹시 nic가 전부 teaming으로 묶여있는 상태였나요?
          
isaiah 2017-03
팀 사용은 안했습니다.
Max processors 부분이 2로 되어 있네요?  전 듀얼코어지만 8로 되어 있습니다.
     
PiPPuuP 2017-03
감사드립니다.
그거부터 조져봐야겠군요.
멀린 2017-03
제가 봤을땐 정상으로 보입니다.
워낙 오래전에 테스트한거라 가물가물 하긴합니다만....
SMB 멀티채널은 복수개의 NIC가 있을때 서버-클라이언트 SMB 연결에 그 NIC들을 사용한다는 얘기이고..
RSS는 서버 NIC와 클라이언트 NIC의 연결에 복수개의 TCP 커넥션을 사용한다는 개념입니다.(단, NIC가 RSS 지원해야하고, 기본은 서버측 CPU 코어수만큼만 가능합니다.)

고로, 현재 티밍된 NIC 1개뿐이고(물리적으로는 10개를 묶었다 할지라도...), CPU는 2코어 뿐이니 TCP 커넥션이 2개만 생성되어 있을겁니다.
티밍된 인터페이스가 한 개의 커넥션도 여러 NIC에 분산하는 개념은 아니기에 실제 연결이 있는 2개의 물리 NIC 이외에 다른 NIC는 놀고 있겠지요..

때문에 SMB 3.0 스토리지를 구성하면서 굳이 티밍을 고집할 이유는 없습니다.
혹여나 티밍을 꼭 쓰셔야 한다면, RSS 커넥션 수를 늘려주셔야 할 듯 합니다...(방법은 오래되서 기억이 잘...)

-------------------------------------------------------
PS C:\Users\Administrator> Get-SmbClientConfiguration


ConnectionCountPerRssNetworkInterface : 8
----------------------------------------------------------------

참고로 위 값은 몇년전에 구성한 저희 스토리지 서버입니다. 2012이고 코어 4개에 NIC 4개, 티밍은 사용안합니다.
예전에 비슷하게 삽질하다 ConnectionCountPerRssNetworkInterface 값 바꿔주고 해결했던 기억이 납니다.
현재는 한개의 클라이언트 연결에 총 32개(NIC당 8개) 커넥션 사용중입니다.
     
PiPPuuP 2017-03
상세한 답변 감사드립니다. 적용 시도해보겠습니다.
     
PiPPuuP 2017-03
ConnectionCountPerRssNetworkInterface : 4로 기본 세팅값인듯 합니다. set-smbclientconfiguration으로 8로 늘렸습니다.
아마 실제 전송 시에는 RSS에서 연결을 할당 할 때 더이상 사용가능한 코어가 없어서 Teaming된 NIC에서 2 이상 늘리지 않는듯 합니다.
실제 Net Adapter의 MaxProcessors는 2로 찍힙니다.

프로세서 참여 수는 당연하지만 탑제된거 이상 못늘리네요. (Set-NetAdapterRss -MaxProcessors 4를 시도해봄)
CPU업그레이드 전까지는 티밍을 풀어 쓰는것으로 타협했습니다.
나누면 정상적으로 NIC 4개 대역폭 전부 사용합니다.
더불어 NIC당 RSS를 통해 2개씩 연결하니 최대 연결이 2 -> 8로 늘었습니다. (정말로 전송 때 연결이 8개인지는 확인 못했지만요)

다시한번 감사드립니다.
로그인 하시면 댓글을 남길 수 있습니다


QnA
쓰기
제목Page 696/5687
2014-05   4995037   1 정은준1
2015-12   1530954   1  백메가
2017-03   3677   1 김건우
2020-10   3248   1 카머
2019-07   2942   1  박명근TN
2022-04   3802   1 caloto
2010-12   9162   1 미다스캉
2016-04   4522   1 까아
2019-08   3090   1 시골노인
2018-06   3686   1 의롭게살리라
2016-04   4354   1  깜박깜박가
2017-03   3208   1 김제연
2018-06   5492   1 통통9
2017-03   4310   1 PiPPuuP
2011-02   7996   1 이해하면오…
2011-02   8916   1 민준호
2013-10   8534   1 악땅
2015-02   3131   1  삐돌이슬픔이
2016-04   4572   1 미나리나물
2018-06   3679   1 시오훅이
2017-04   9615   1 캔위드
2011-03   7682   1  방o효o문
목록
쓰기