윈도우 10 이 설치된 2대의 PC 가 있습니다.
두 PC 간의 파일 전송 및 공유를 테스트 중인데,
듀얼 10Gbe 카드를 양컴퓨터에 설치하고 랜으로 다이렉트 연결했습니다.
그리고 인터넷에 검색한 방법을 찾아서 클라이언트로 지정한 PC 에
Set-SmbClientConfiguration -EnableMultiChannel $true
명령을 입력해서 실행했습니다.
그리고 공유 폴더를 열어서 테스트를 해보는데,
속도가 안나오네요.
윈도우10 PC (NVME )-> Dual 10Gbe SFP+ 카드 -> DAC 케이블 2개로 연결 -> 윈도우 11 PC (NVME)
양측 랜카드 Jumbo Frame 9014 로 지정된 상태입니다.
약 370 Mb/s 정도 나옵니다.
멀티 채널이 작동을 안한 것도 의아스럽고, 10gbe 단일로 연결되었다고 해도 800Mb/s 이상은 나와야 될 것 같은데
너무 속도가 나오지 않아서 전문가 분들의 조언을 얻고자 글을 올립니다.
빠른 조언 감사드립니다.
얼른 정보를 추가해서 올립니다.
PC 는 서버로 사용하는 것은 (윈도우 10 ) I3 12100 , MSI Z690 A DDR4, PCIE3.0 NVME 카드, Lan 은 브로드컴 제품인데 Qlogic BCM57810 이라고 나옵니다.
클라이언트 역할을 하는 것은 (윈도우 11) AMD 5800x, ASUS X470 Strix, PCI 3.0 NVME 카드, 랜은 동일한 브로드컴 BCM57810 입니다.
Iperf3 테스트 해봤습니다.
역시 속도가 안나오네요.
알려주신 것중에
랜카드 설치 슬롯의 위치가 걸리네요.
둘다 가장 마지막 슬롯에 연결되어 있습니다.
혹시 슬롯 스피드를 알수 있는 방법이 있나요?
이정도 속도면 PCIe 1X 로 연결 된 것 같아서요.
그리고 렌카드 모델명과 컴퓨터 마더보드 모델명 및 사양 정도는 적어주셔야죠..
정보가 너무 없습니다..
정보를 알려주셔야지 추측이라도 해볼 수 있습니다.
대부분 NVME 설치로 인한 PCI-E 레인의 부족
CPU/메모리와 NIC이 설치된 PCI-E 슬롯사이의 병목현상 등등이 주요 원인입니다.
(Windows에서는 파일카피를 하면 일단 버퍼(램)에 데이터를 올렸다가 NIC으로 전송을 하기에...)
설치된 PCI-E 슬롯이 X1 X2 등으로 동작하는 상황 등등
드물게 카드 고장으로 인해 카드가 PCI-E 1X, 2X로 동작하는 상황
경험상 구형 10G 카드도 정상적인 상황에는 9~10GE 정도 속도를 뽑아줍니다.
속도가 안나오는 원인은, 스토리지 병목(읽기 능력 부족, 쓰기 지연 등), PCI-E 대역폭 관련 병목, 케이블 품질, 카드 고장 등등
참고로 iperf는 윈도우즈보다는 리눅스에서 속도가 안정적으로 나옵니다.
네트워크 구간 속도가 제대로 안나오면, 파일카피 속도테스트를 하는게 의미가 없죠...
랜카드 스피드 제대로 나오는건 일반적인 TCP 속도로는 잘 안나오고 RDMA 를 사용하는 SMB 프로토콜이 90프로 가까이 나옵니다.
PC보드에서 고속 네트워크 사용할려면 NVME 같은거 포기해야됩니다. 16배속 그래픽 카드를 포기해서 그쪽으로 붙이던지 해야죠.
결론은 PC보드에서 웍스보드처럼 사용하면 대역폭 다 갈라져서 제성능 절대 안나온다는거...
16배속 슬롯을 제외하고는 전부 공유채널 슬롯이고 그리고 PC보드 99프로가 8배속이 없고 4배속 그 하단은 2배속 슬롯들입니다.
일단 NVMe가 시퓨 직결 Lane에 물릴 수 있으므로 병목에서 해방되었고, CPU-PCH가 3.0이 아닌 4.0으로 연결됨에 따라 10기가 1개정돈 넉넉하게 버티고 남습니다
x16 1개 빼고 전부 PCH 하위에 물리는건 400시리즈까지고 500시리즈부턴 20이에요 (이번에 신형은 더 늘어서 16+4+4까지가 직결입니다)
40G 붙이고 NVME 붙이고 메모리 128G 붙인거 직접 체크하면 병목현상으로 확 떨어지는거 눈에 보이는데 직접 구성하고 그소리 하는거 맞아요?
내가 PC로 서버로 운영하는게 얼마나 많은데...
서버/웍스/PC 골고루 다 구성해서 써보면서 느낀건 PC는 CPU 깡성능은 서버나 웍스보다 효율적으로 좋긴 하지만 익스프레스 대역폭은 턱없이 부족해요.
그리고 동시에 IO 돌려봐요 그렇게 나오나 윗글처럼 속도가 안나와요 왜그럴까요 그증상 백프로인데...
X570 보드 5950 쓰는데 긴 슬롯도 3개고 레이드카드와 10G/40G 사용할려면 16배속 포기하고 NVME 포기하고 써야 제성능 나올까 말까인데.
쓰레드리퍼가 괜히 나온줄 아나...
10기가는 40기가처럼 많은 Lane을 요구하지도 않습니다 (3.0 기준이면 x2면 충분하고, 4.0이면 꼴랑 x1이면 됩니다)
애초에 메인스트림에서 병목이 생기는 가장 큰 원인이 대부분의 PCIe가 PCH 하위에 물려있는게 원인인데 본문 수준의 구성은 병목 없이 구성할 수 있을정도는 됩니다
CPU 직결이 x16밖에 안 나오는건 2~3년전까지 애기입니다
그 부족한 Lane과 포트를 억지로 계산해서 가상화 서버같은거까지 다 돌리고 있습니다 (슬롯 부족해서 NVMe-PCIe 하거나 삽질 다 함)
우리 술이님이 No1 Master !! 여요.
술이님 말씀이 맞습니다. !!
쓰레드리퍼는 강한 의미가 있다..
라이젠은 많은 시스템적 제한을 가지고 있다.
라이젠은 게임용이고 .. 간단 작업용이다..
잘 알겠습니다.
이것으로 10G 랜카드가 몇배속으로 동작하는지 확인해보세요..
보통 제일 아래 슬롯이 칩셋의 PCI-E 레인에 연결된 슬롯인데.. 여기에 끼우면 속도가 많이 떨어집니다.
거기에 NVME까지 CPU에 직결된 슬롯이 아닌 칩셋에 연결된 슬롯이면.. 더 속도가 안나오구요..
NVME와 랜카드가 칩셋에 있는 PCI-E 레인에 붙어 있으면..
NVME - 칩셋- CPU/램 - 칩셋 - 랜카드 경로로 데이터가 이동하면서 대역폭이 정말안나오구요. ( 칩셋을 두번이나 거치면서 )
그나마 고급 보드인 경우 NVME가 CPU/램에 직결된 PCI-E 레인에 붙어 있으면
NVME - CPU/램 - 칩셋 - 랜카드 경로라서 좀 낫구요..
서버급 보드에서 PCI-E 레인이 충분히 확보되고 NVME와 랜카드가 모두 CPU에 직결되어 있으면
NVME - CPU/램 - 랜카드 경로라서 대역폭이 충분해집니다.
예전에 쓰레드리퍼 보드에서 테스트해본적이 있는데
사용하시는 BCM57810 랜카드와 NVME로 2대간 10GE 전송에 문제는 없었습니다.
보드 다이어그램보시고 각 장치가 어디에 연결되었는지 확인하시구요.
추가 장치가 붙으면 PCI-E 레인과 PCI-E 배속이 어떻게 나누어지는지도 확인하시면 실마리를 찾을 것 같습니다.
마지막으로 별도로 바이러스 백신프로그램은 사용안하시죠?
켜져있으면 속도가 안나옵니다.
위에 선생님들이 해주시는 조언이 대부분 맞는데 좀 더 쉽게 말씀드리자면,
최신 10G NIC가 아니라면, 10G 카드가 pcie 2.0 x8 일거 같습니다. 제 intel x520이 그렇거든요.
만약 보드가 pcie 3.0 x4로 동작한다면(슬롯이 x8, 16이어도) 속도가 반토막~1/4토막 납니다.
아마 보드가 pcie 2.0 x4로 동작해서 그럴겁니다.
제가 알기로 사용중인 메인보드가 16배속 1개 나머지 4배속 이런데, gpu를 1개라도 꼽으셨으면 나머지 슬롯은 8배속이 없고 4배속 일겁니다. 확인해 보세욤.
제일 아래 슬롯이 PCI-E 2.0 x4 이긴한데........
PCI-E 2.0 x4 이라도 3.X Gbps는 정상적인 속도가 아닌것 같습니다.
예전 경험으로 PCI-E 2.0 x4 에서도 6~8Gbps 정도는 나왔왔습니다.
PCI-E 2.0 계열 카드인 X520으로 PCI-E 1X에서 테스트해보면 3.2Gbps 정도 나오거든요..
R510 슬롯 3개 남아서 듀얼포트 10G 두개 달아서 MPIO 40G 대역폭으로 써야지 했는데 각각 대역폭이 다 쪼개져버리는 뭐같은 경우도 봐서 구형 장비들 그냥 내보냈습니다.
https://forums.unraid.net/topic/89737-solved10gb-slow-transfer-speeds/
만일 가능하시다면 광으로도 연결해서 비교해보시기 바랍니다..
I3 12100 , MSI Z690 A DDR4 ==> 마지막 PCIe E4 슬롯은 PCIe 1X로 동작한다고 메뉴얼(메뉴얼 4페이지)에 나와 있네요.. PCIe E3 슬롯으로 바꾸어보세요..
보드 디자인이 M2 만 잔뜩 있어서 PCIe 레인을 다 잡아먹고 있고 CPU에서 나오는 PCIe 레인도 비디오카드 용으로 1개 밖에 없습니다..
AMD 5800x, ASUS X470 Strix ==> 마지막 PCIe 6번 슬롯은 PCIe Gen2 4X 입니다.. 메뉴얼 1-6 / 1-7 페이지 참조하세요..
이 보드는 10G카드를 4번슬롯으로 바꾸면 좀 나아질 듯합니다..
좀 되었지만 M.2가 달리는 보드들의 PCIe 슬롯 PCIe 레인 배분의 최고 상태가 8+8+4 입니다.. (8+8 /16 은 CPU에서 4는 칩셋에서)
인텔 칩셋으로 보면 Z170 혹은 Z270 때부터 지금까지 최고 상급 칩셋에서만 이런 형태로 디자인된 보드들이 몇가지 모델이 있었습니다..
AMD칩셋은 이것보다 못한 경우가 많았고 CPU 모델에 따라서도 PCIe 레인 배분이 많이 변합니다..
어쨌던 레이드 카드나 10G카드를 꼽아서 어느 정도 안정되게 동작하게 하려면 CPU와 직결된 PCIe 슬롯에 꼽아야 합니다..