이걸 구축하느라 썼던 Q&A 글들은 여길 참고하세요
https://www.2cpu.co.kr/QnA/869504
----------------------------------------------------------------
저말고도 1:1 연결 즉 나스와 10G 연결에 관심이 많은분들이 있을거 같습니다..
일단 제 메인 PC는 X570 arous elite 메인보드를 쓰고 있고
서브 PC로는 AMD A520M-S2H ,
나머진 구형 인텔 B75M-D3H , GA-H81M-D2V 를 쓰고 있습니다
개인적으로 구형 PC를 활용하고자 레이드카드 및 10G 랜카드를 붙여 DAS로 사용하기로 했습니다.
일단 장터의 Dell - Broadcom 57810s Dual-port,sfp+ 10gb
이 두녀석을 구입했습니다.
그리고 장터에서 케이블을 사려고하니 장터 판매자님이 DELL 제품과 호환성에 문제 없다고 한 SFP+ DAC 케이블도 구입했습니다.
문제는 제 주 PC의 메인보드에 남는게 PCIE X 1 슬롯 밖에 없어서
이 라이저 케이블 이용해 10G 랜 카드를 쓰기로 결정합니다.
( 랜카드는 PCIE 2.0을 쓰므로 PCIE 2.0 X 1 최대 대역폭은 500 MB/S )
일단 이 케이블을 이용한 10G랜카드 연결은 매우 성공적이었습니다...
제 메인 PC에서 잘 인식되었습니다.
문제는 제 NAS 혹은 DAS가 될 서브 PC들이었는데...
Dell OEM만의 특유의 호환성 문제가 있었던것이었습니다.
B75M-D3H 보드에 착용할때는 삐~ 삐~ 삐~ 거리면서 컴퓨터를 당장 끄시오라는 경고음이 매우 강력하게 울렸습니다.
그래서 일단 이 보드는 패스하고
나름 신형인 AMD A520M보드에 끼었을때는 문제 없는가 했나 싶었지만
부팅시 10G 랜 Dectecting 을 한번만 하고는 멈추는 현상이 있었습니다.
참고로 제 메인 PC에서는 10G 랜 Detecting을 2번하고는 정상적으로 부팅하였습니다.
전에 다른 알리 판매상이 서버용 10G 네트워크 카드 끝 접점을 절연테이프로 가리고 쓰라는 사진과 글을 본적이 있어서
혹시나해서
케이블을 이용해 PCIE X1로 연결해보았습니다...
그랬더니 바로 10G 랜 Detecting 두번뛰우고는 바로 부팅이 되었습니다...
[ 아마도 랜카드 레인 뒷쪽부분에 서버 전용의 무엇인가 있는 느낌입니다. 그걸 건들지 않거나 호환되야 부팅이 되는 느낌 ]
아하~! 이거구나 싶어서....
B75M-D3H 보드도 같은 방식으로 도전하였습니다...
그랬더니 전혀 문제 없이 부팅이 이루어졌는데...
한가지... 10G랜을 인식은 하였으나 충돌하여 알수 없는 장치로 보였습니다...
이게 Dell OEM만의 특유의 호환성인지 , 윈도우 11를 깔아서 그런건지 ....
윈도우10이었으면 인식했을런지는 확실하지 않습니다.
그래서 윈도우 64비트 드라이버를 설치한번 해보려 했으나... 윈도우 2008 서버나 윈도우 8만 지원한다며 인스톨에 실패했습니다.
그래서 이 B75M-D3H는 일단 포기하고.... (PCIE X 4를 라이저로 PCIE X 1 로쓰는것도 의미는 없었죠)
이제 다른 PC 즉 GA-H81M-D2V 여기에 라이저 케이블 없이 그냥 꼽아봤습니다...
그랬더니... 그냥 됩니다...
제 메인보드 X570보다 더 뭔가 부드럽게 잘 넘어가는 느낌이네요...
그리고 윈도우10 네트워크에서 정상적으로 10G 랜(2개)이 잡혔습니다.
[참고로 X570 arous elite도 윈도우10임 ]
두 PC에서 랜카드 인식에 성공후...
제 메인 PC에 PCIE X1 라이저로 10G 랜카드에서 GA-H81M-D2V PC로 케이블을 연결하였습니다.
연결 성공 그리고 공유 폴더 지정하 복사 테스트를 해보았습니다...
서브 SSD는 삼성 830이라 SLC 쓰기 캐쉬가 몇기가 안되서 그런지 ( 한 2-3G?) 200-300MB/S 나오다가 160 MB/S 고꾸라지네요...
그리고 성능이 전체적으로 좀 안나오는 느낌이었습니다.
반대로 서브PC 에서 제 PC로 복사를 시켜봤는데.... 평균 200 MB/S 나오나??? 어째튼 실망스러운 속도가 나왔습니다...
혹시 메인 PC의 PCIE X 1 슬롯에 껴서 그런가 해서 PCIE X 4 슬롯을 먹고 있는 U.2 SSD를 빼버리고
PCIE X 4 슬롯에 껴봤는데도 나아지지 않았습니다.
이건 아니다 싶어서 검색해보니 점보 프레임인 MTU 1500을 9014인가로 설정하라고 해서 ... 해봤더니 이제서야
풀 속도가 나오는거 같았습니다...
일단 서브 PC에서 메인 PC로 복사할때는
SATA SSD의 최대치인 520 MB/S가 나오고 있는데... 그 이상 빠른 저장장치를 달수가 없어서 더 빠르게 나오는건 확인할수 없었습니다.
반대로 할때는 SATA SSD의 SLC 캐쉬 구간 2-3G에서는 400MB/S 에서 480 MB/S까지 쭉울 올라가면서 500 MB/S을 넘기려는 순간
SLC 캐쉬가 다 딸어져서 160 MB/S로 고꾸라졌습니다...
SLC 캐쉬가 다 떨어져서 그런지 확인하기위해
혹시나 해서 외장 NVME SSD를 USB 3.0에 꼽고 테스트 해보니... USB 3.0에서 꼽꼬 쓸때 속도인 330 MB/S 속도가
몇십기가 복사하는 내내 계속 유지 되네요...
나중에 생각했지만 NVME SSD USB와 SATA SSD를 동시에 사용하면 최대 대역폭을 더 측정할수 있었는데 테스트 다 끝내고 생각나서
이젠 힘들고 귀찬아서 패스했습니다...
----------------------------------------------------------
정리하자면
10G 랜카드를 연결한 PCIE 슬롯 기준으로 보면
메인 PC 서브 PC
PCIE X 1 라이저 : PCIE X 8 = 410 MB/S
PCIE X 4 : PCIE X 1 라이저 = 360 MB/S
PCIE X 4 : PCIE X 8 = 520 ?? MB/S 이상 ( 예상은 700-800 MB/S 나오지 않을까 싶은 )
( SATA SSD와 usb ssd를 동시에 돌렸으면 대역폭 최대치 측정가능했을텐데 실제로는 그렇게 쓸일이 없다보니 ... 깜박함 )
Dell - Broadcom 57810s Dual-port,sfp+ 10gb 는 호환성을 탐.
[ B75M-D3H에서 에러 발생 , A520M-S2H는 부팅중 Detecting에서 멈춤 근데 PCIE X 1 라이저를 통하면 에러없이 정상 사용가능 , X570 arous elite 아무문제 없음 ]
---------------------------------------------------------
제 PC의 메인보드가 PCIE 4.0을 지원해서 그런지.... (서브 PC는 PCIE 2.0)
라이저를 통한 PCIE X 1 일때 성능 체크에서 410 MB/S 대 360 MB/S 약 50 MB/S 속도 차이가 났습니다...
PCIE X 1 속도라도
410 MB/S라면 거의 5G 속도는 나온다고 볼수 있을거 같은데 서브 PC의 360 MB/S는 조금 아쉽습니다...
문제는 서브 PC의 X 16 슬롯에는 9260-8i 레이드 카드가 꼽혀야해서... 서브 PC는 PCIE X 1 라이저를 쓰던가
PCIE X 4이상의 슬롯이 하나더 있는 메인보드로 교체해야할듯 싶습니다.
B75M-D3H 보드가 그 조건에 해당됐는데 아쉽게 호환성 문제로 사용 못하게되어 가슴이 아프네요.
[그래도 비관적이진 않은게... 인텔 3세대 보드에선 에러가 났지만 4세대 보드( GA-H81M-D2V) 에선 에러가 안났다는걸 보면 호환성이 4세대부터는 괜찬지 않을까 추측 해봅니다 ]
재밌는건 같은 PCIE 2.0 X 1 대역폭이라도
구형 PC의 속도는 최신 PCIE 4.0 을 PCIE 2.0으로 낮춰쓰는것보다 속도가 안나온다입니다.
일단 제 DAS는 360 MB/S로 타협을 보면 더 이상 지출없이 끝날수 있을거 같은데... PCIE X 4 슬롯이 하나 더 달려있는 4세대이상 보드가 자꾸 사고 싶어지네요...
어차피 그래봐야 메인 PC의 PCIE X 1를 라이저로 쓰면 410 MB/S 최대인데...
마음같아선 서브 PC도 교체하고 메인 PC의 U.2 SSD를 PCIE X 4 에서 뽑고 그걸 라이저에 PCIE 3.0 X 1로 쓰면 10G 대역폭 다 쓸수 있을거 같은데... 고통스럽네요.
(어쩌면 PCIE 3.0 을 지원하는 10G 랜카드를 쓰면 PCIE X 1 라이저 에서도 7-800 MB/S은 나올지도.. 모르는데... 그런 제품은 새제품으로 13만원이상 들어가야해서... 고민)
가장 깔끔한건 B75M-D3H에서 되는게 최선인데...
마지막으로 B75 보드의 에러는 SMbus 5,6 접점을 절연하면 안생긴다고 하는분이 있어서 이건 내일 한번 해볼까하는데...
인터넷에서 이걸 보니.. 너무 어려운 작업같아서.... 좀 망설여지네요..
그래도 이 요망한 서버용 10G 랜카드를 성공적 사용했기에... 상당히 만족스러운 결과를 얻었습니다.
다른분들도 참고가 됐으면 하네요
10Gb/s = 10 x 1,000 /8 = 1,250MB/s
일반적인 SATA SSD는 300~500MB/s NVME 는 1,500~3,000 MB/s
10G 부럽습니다.
저는 인터넷(외부)은 100Mbps이고 내부는 겨우 1Gbps네요.
이 부분에서 이미 많은 돈이 들어가기땜에 10기가쯤 구성해보면 NIC/Cable 2개가 젤 싼 물건이란걸 깨닫게 됩니다 (하다못해 스위치만 1대 사도 NIC보다 몇배는 비쌈)
[ 9620-8i raid 카드 사용 ]
각각의 드라이브를 동시에 서용하면 10G는 풀로 사용가능할수 있을거 같습니다.
물론 자주 그렇게 사용될일은 많지 않겠지만요..
근데 쓰다보면 sata랑 그렇게까지 차이나진 않습니다. 대용량 입출력이 잦은게 아니라면요.