10G 1:1 PC°£ ³×Æ®¿öÅ© ±¸Ãà(1) (PCIE 2.0)

   Á¶È¸ 17429   Ãßõ 0    

 

이걸 구축하느라 썼던 Q&A 글들은 여길 참고하세요

https://www.2cpu.co.kr/QnA/869504

----------------------------------------------------------------

저말고도 1:1 연결 즉 나스와 10G 연결에 관심이 많은분들이 있을거 같습니다..


일단 제 메인 PC는 X570 arous elite 메인보드를 쓰고 있고

서브 PC로는 AMD  A520M-S2H , 

나머진 구형 인텔  B75M-D3H , GA-H81M-D2V  를 쓰고 있습니다

 

개인적으로 구형 PC를 활용하고자  레이드카드 및 10G 랜카드를 붙여  DAS로  사용하기로 했습니다.


일단 장터의 Dell - Broadcom 57810s Dual-port,sfp+ 10gb   




이 두녀석을 구입했습니다.

그리고 장터에서 케이블을 사려고하니 장터 판매자님이 DELL 제품과 호환성에 문제 없다고 한 SFP+ DAC 케이블도 구입했습니다.

 

문제는 제 주 PC의  메인보드에 남는게 PCIE X 1 슬롯 밖에 없어서 




이 라이저 케이블 이용해 10G 랜 카드를 쓰기로 결정합니다. 

( 랜카드는 PCIE 2.0을 쓰므로  PCIE 2.0 X 1 최대 대역폭은  500 MB/S )

 

일단 이 케이블을 이용한 10G랜카드 연결은 매우 성공적이었습니다...

제 메인 PC에서 잘 인식되었습니다.

 

문제는 제 NAS 혹은 DAS가 될 서브 PC들이었는데...

Dell OEM만의 특유의 호환성 문제가 있었던것이었습니다.

B75M-D3H 보드에 착용할때는  삐~ 삐~ 삐~ 거리면서 컴퓨터를 당장 끄시오라는 경고음이 매우 강력하게 울렸습니다. 

그래서 일단 이 보드는 패스하고

나름 신형인 AMD  A520M보드에 끼었을때는 문제 없는가 했나 싶었지만

부팅시 10G 랜 Dectecting 을 한번만 하고는 멈추는 현상이 있었습니다. 

참고로 제 메인 PC에서는 10G 랜 Detecting을 2번하고는 정상적으로 부팅하였습니다.

 

전에 다른 알리 판매상이 서버용 10G 네트워크 카드 끝 접점을 절연테이프로 가리고 쓰라는 사진과 글을 본적이 있어서 

혹시나해서 




케이블을 이용해  PCIE X1로 연결해보았습니다...

그랬더니  바로 10G 랜 Detecting  두번뛰우고는 바로 부팅이 되었습니다...

[ 아마도 랜카드 레인 뒷쪽부분에  서버 전용의 무엇인가 있는 느낌입니다. 그걸 건들지 않거나 호환되야 부팅이 되는 느낌 ] 


아하~! 이거구나 싶어서....

B75M-D3H 보드도 같은 방식으로 도전하였습니다...

 

그랬더니 전혀 문제 없이  부팅이 이루어졌는데...

한가지...  10G랜을 인식은 하였으나 충돌하여 알수 없는 장치로 보였습니다...

이게 Dell OEM만의 특유의 호환성인지 , 윈도우 11를 깔아서 그런건지 .... 

윈도우10이었으면 인식했을런지는 확실하지 않습니다.

그래서 윈도우 64비트 드라이버를 설치한번 해보려 했으나... 윈도우 2008 서버나 윈도우 8만 지원한다며 인스톨에 실패했습니다.

그래서 이 B75M-D3H는 일단 포기하고.... (PCIE X 4를 라이저로 PCIE X 1 로쓰는것도 의미는 없었죠)

 

이제 다른 PC 즉  GA-H81M-D2V 여기에  라이저 케이블 없이 그냥 꼽아봤습니다...

그랬더니...  그냥 됩니다...

 

제 메인보드 X570보다 더 뭔가 부드럽게  잘 넘어가는 느낌이네요...

그리고 윈도우10 네트워크에서 정상적으로 10G 랜(2개)이 잡혔습니다.

[참고로 X570 arous elite도 윈도우10임 ]

 

두 PC에서 랜카드 인식에 성공후...

제 메인 PC에 PCIE X1 라이저로 10G 랜카드에서   GA-H81M-D2V PC로 케이블을 연결하였습니다.

연결 성공  그리고 공유 폴더 지정하 복사 테스트를 해보았습니다...

서브 SSD는 삼성 830이라 SLC 쓰기 캐쉬가 몇기가 안되서 그런지 ( 한 2-3G?)   200-300MB/S 나오다가 160 MB/S 고꾸라지네요...

그리고 성능이 전체적으로 좀 안나오는 느낌이었습니다.

반대로  서브PC 에서 제 PC로 복사를 시켜봤는데....  평균 200 MB/S 나오나???  어째튼 실망스러운 속도가 나왔습니다...

 

혹시 메인 PC의 PCIE X 1 슬롯에 껴서 그런가 해서  PCIE X 4 슬롯을 먹고 있는 U.2 SSD를 빼버리고

PCIE X 4 슬롯에 껴봤는데도 나아지지 않았습니다. 

 

이건 아니다 싶어서 검색해보니  점보 프레임인  MTU 1500을   9014인가로 설정하라고 해서 ... 해봤더니 이제서야 

풀 속도가 나오는거 같았습니다...

 

일단 서브 PC에서 메인 PC로 복사할때는 

SATA SSD의 최대치인  520 MB/S가 나오고 있는데... 그 이상 빠른 저장장치를 달수가 없어서 더 빠르게 나오는건 확인할수 없었습니다.

반대로 할때는 SATA SSD의 SLC 캐쉬 구간 2-3G에서는 400MB/S 에서 480 MB/S까지 쭉울 올라가면서  500 MB/S을 넘기려는 순간

SLC 캐쉬가 다 딸어져서 160 MB/S로 고꾸라졌습니다...

SLC 캐쉬가 다 떨어져서 그런지 확인하기위해

혹시나 해서 외장 NVME SSD를 USB 3.0에 꼽고 테스트 해보니...  USB 3.0에서 꼽꼬 쓸때 속도인  330 MB/S 속도가

몇십기가 복사하는 내내 계속 유지 되네요...


나중에 생각했지만  NVME SSD USB와 SATA SSD를 동시에 사용하면 최대 대역폭을 더 측정할수 있었는데 테스트 다 끝내고 생각나서 

이젠 힘들고 귀찬아서 패스했습니다...


----------------------------------------------------------

정리하자면  

10G 랜카드를 연결한 PCIE 슬롯 기준으로 보면 

메인 PC               서브 PC 

PCIE X 1 라이저  :    PCIE X 8           =  410 MB/S

PCIE X 4          :    PCIE X 1 라이저   =  360 MB/S

PCIE X 4          :    PCIE X 8           =  520 ?? MB/S 이상 ( 예상은 700-800 MB/S 나오지 않을까 싶은 ) 

( SATA SSD와 usb ssd를 동시에 돌렸으면 대역폭 최대치 측정가능했을텐데 실제로는 그렇게 쓸일이 없다보니 ... 깜박함 )


Dell - Broadcom 57810s Dual-port,sfp+ 10gb  는 호환성을 탐.

[ B75M-D3H에서 에러 발생 , A520M-S2H는 부팅중 Detecting에서 멈춤 근데 PCIE X 1 라이저를 통하면 에러없이 정상 사용가능 , X570 arous elite 아무문제 없음 ]

---------------------------------------------------------


제 PC의 메인보드가 PCIE 4.0을 지원해서 그런지.... (서브 PC는 PCIE 2.0)

라이저를 통한 PCIE X 1 일때 성능 체크에서    410 MB/S 대  360 MB/S  약 50 MB/S 속도 차이가 났습니다...


PCIE X 1 속도라도

410 MB/S라면 거의 5G 속도는 나온다고 볼수 있을거 같은데 서브 PC의 360 MB/S는 조금 아쉽습니다...


문제는  서브 PC의 X 16 슬롯에는 9260-8i 레이드 카드가 꼽혀야해서...  서브 PC는 PCIE X 1 라이저를 쓰던가

PCIE X 4이상의 슬롯이 하나더 있는 메인보드로 교체해야할듯 싶습니다.


B75M-D3H 보드가 그 조건에 해당됐는데 아쉽게 호환성 문제로 사용 못하게되어 가슴이 아프네요.

[그래도 비관적이진 않은게... 인텔 3세대 보드에선 에러가 났지만 4세대 보드( GA-H81M-D2V) 에선 에러가 안났다는걸 보면  호환성이 4세대부터는 괜찬지 않을까  추측 해봅니다 ] 


재밌는건 같은 PCIE 2.0 X 1 대역폭이라도 

구형 PC의 속도는  최신 PCIE 4.0 을 PCIE 2.0으로 낮춰쓰는것보다 속도가 안나온다입니다.


일단 제 DAS는 360 MB/S로 타협을 보면  더 이상 지출없이 끝날수 있을거 같은데...  PCIE X 4 슬롯이 하나 더 달려있는 4세대이상 보드가 자꾸 사고 싶어지네요...

어차피 그래봐야 메인 PC의 PCIE X 1를 라이저로 쓰면 410 MB/S 최대인데...  


마음같아선 서브 PC도 교체하고 메인 PC의 U.2 SSD를 PCIE X 4 에서 뽑고  그걸 라이저에 PCIE 3.0 X 1로 쓰면 10G 대역폭 다 쓸수 있을거 같은데... 고통스럽네요.

(어쩌면 PCIE 3.0 을 지원하는 10G 랜카드를 쓰면 PCIE X 1 라이저 에서도 7-800 MB/S은 나올지도.. 모르는데... 그런 제품은 새제품으로 13만원이상 들어가야해서... 고민)


가장 깔끔한건 B75M-D3H에서 되는게 최선인데...

마지막으로 B75 보드의 에러는  SMbus 5,6 접점을 절연하면 안생긴다고 하는분이 있어서 이건 내일 한번 해볼까하는데... 

인터넷에서 이걸 보니.. 너무 어려운 작업같아서.... 좀 망설여지네요..


그래도  이 요망한 서버용 10G 랜카드를 성공적 사용했기에...  상당히 만족스러운 결과를 얻었습니다.

다른분들도 참고가 됐으면 하네요

¾ÆÁÖ ÁÁÀº ±ÛÀÔ´Ï´Ù
¹Ú¹®Çü 2022-12
10G Ç®¼Óµµ¸¦ ³»·Á¸é ºÎÆà µð¹ÙÀ̽º°¡ ±×¸¸ÇÑ ¼Óµµ¸¦ ³»¾ß Çϱ⿡ ÃÖ¼Ò NVME °¡ ÇʼöÀÔ´Ï´Ù..

10Gb/s = 10 x 1,000 /8 = 1,250MB/s

ÀϹÝÀûÀÎ SATA SSD´Â 300~500MB/s NVME ´Â 1,500~3,000 MB/s
¸¶¿Õ 2022-12
dac ÄÉÀÌºí º¸´Ù´Â ±¤ ÄÉÀ̺íÀÌ ´õ Àú·ÅÇÒ °Ì´Ï´Ù.
bokjjang 2022-12
´ë¿ªÆø¸¸ ÃøÁ¤ÇÒ °æ¿ì¿¡´Â iperf¸¦ ÀÌ¿ëÇغ¸¸é µÉµí ÇÕ´Ï´Ù.
10G ºÎ·´½À´Ï´Ù.
Àú´Â ÀÎÅͳÝ(¿ÜºÎ)Àº 100MbpsÀÌ°í ³»ºÎ´Â °Ü¿ì 1Gbps³×¿ä.
dateno1 2022-12
10±â°¡ Á¦´ë·Î »ÌÀ»·Á¸é SATA SSD·Ð ²Ï ¸¹Àº °³¼ö¸¦ ¹­°Å³ª NVMeÀÌ»óÀ¸·Î¸¸ ±¸¼ºÇØ¾ß ÇÕ´Ï´Ù (±×¸®°í ÀÌ°É RAID Á¦´ë·Î ó¸®ÇÒ·Á¸é ¸Å¿ì ºñ½Ñ ÄÁÆ®·Ñ·¯°¡ ÇÊ¿äÇÕ´Ï´Ù)

ÀÌ ºÎºÐ¿¡¼­ ÀÌ¹Ì ¸¹Àº µ·ÀÌ µé¾î°¡±â¶«¿¡ 10±â°¡Âë ±¸¼ºÇغ¸¸é NIC/Cable 2°³°¡ Á© ½Ñ ¹°°ÇÀ̶õ°É ±ú´Ý°Ô µË´Ï´Ù (ÇÏ´Ù¸øÇØ ½ºÀ§Ä¡¸¸ 1´ë »çµµ NICº¸´Ù ¸î¹è´Â ºñ½Ó)
     
¹«¹ýÀÚ 2022-12
µ¥ÀÌŸ ¼­¹ö·ÎµÐ PC´Â raid 5·Î  ¹­Àº  µå¶óÀ̺갡 2°³°í  °¢°¢ ¼º´ÉÀ̶ó 500-600 MB/S Á¤µµ ³ª¿É´Ï´Ù.
[ 9620-8i raid Ä«µå »ç¿ë ]

°¢°¢ÀÇ µå¶óÀ̺긦 µ¿½Ã¿¡ ¼­¿ëÇÏ¸é  10G´Â Ç®·Î »ç¿ë°¡´ÉÇÒ¼ö ÀÖÀ»°Å °°½À´Ï´Ù.
¹°·Ð ÀÚÁÖ ±×·¸°Ô »ç¿ëµÉÀÏÀº ¸¹Áö ¾Ê°ÚÁö¸¸¿ä..
          
dateno1 2022-12
Äɽ¬»¡ ¾øÀÌ ¾ÈÁ¤ÀûÀ¸·Î 10±â°¡ º¸ÀåµÇ´Â ¼Óµµ »ÌÀ»·Á¸é ¾Æ¸¶ 5~6°³°¡ ÃÖÀúÀϲ®´Ï´Ù (Àü¿¡ ¹­¾úÀ»¶§ ½ÉÁö¾î´Â 4°³@0·Îµµ 1±â°¡¹ÙÀÌÆ® ¹æ¾î ¾È µÇ¾úÀ½)
ÈÉ³É 2022-12
ÀÇ¿Ü·Î ½Î°Ô 10g Ç®¼Óµµ·Î ±¸¼ºÇÒ ¼ö ÀÖ´Â ¹æ¹ýÀº ½½·Ô¿¡ ¿©À¯°¡ ÀÖ´Ù¸é hp h240°°Àº sas 12 hba¿¡ sas 12 ssd¸¦ ¹°¸®´Â °Ì´Ï´Ù. ÀåÅÍ ¸Åº¹¸¸ Àß Çϰųª À̺£À̸¦ È°¿ëÇϸé sata ssd¿Í ºñ½ÁÇϰųª ½Î°Ô ±¸¼ºÇÒ ¼ö ÀÖ¾î¿ä. 8º£ÀÌ ÀÌ»óµµ °¡´ÉÇϱ¸¿ä. Á¦°¡ ±×·¸°Ô ¾²°í ÀÖ½À´Ï´Ù. ÇÏÇÏ;

±Ùµ¥ ¾²´Ùº¸¸é sata¶û ±×·¸°Ô±îÁö Â÷À̳ªÁø ¾Ê½À´Ï´Ù. ´ë¿ë·® ÀÔÃâ·ÂÀÌ ÀæÀº°Ô ¾Æ´Ï¶ó¸é¿ä.
DaVinci 2022-12
nvme°¡ ´äÀÔ´Ï´Ù.
Á¦ ³ª½º¿¡ 3.5 »çŸ 8°³ ¹­¾î¼­ ¾²´Âµ¥ ÃÊ´ç 900¸Þ°¡ ÀüÈÄ ³ª¿É´Ï´Ù. ¼ø°£ÀûÀ¸·Î 1±â°¡ Âï±âµµ Çϱ¸¿ä
     
¹«¹ýÀÚ 2023-01
4°³¸¦ ·¹À̵å5·Î ¹­¾îµµ 700 MB/S ³ª¿À´Ï.... 8°³¸¦ ¹­À¸¸é ¤§¤§;;;


Á¦¸ñPage 15/105
2020-09   3787   ¾È¿¹¸°ÀÌ
2022-04   3788   naan
2022-02   3788   µö·¯´×¼­¹ö
2020-11   3790   UfXpri
2021-11   3790   SDG6038
2021-09   3799   Wnahd
2021-11   3804   asdf123123
2021-10   3804   °ø¹é±â
03-30   3804   °í±â²ßÀÚ
2022-03   3806   Å°¸®¿¡
2020-01   3814   ÄÚÄÚ¯
2020-12   3822   ´ÞÀÎ
2020-04   3822   RIGIDBODY
2021-11   3823   ³×Æ®¿öÅ©¾î¡¦
2019-12   3825   Stiff
2022-04   3826   ¼¾Åä¿ì³ë
2020-02   3827   ³¶¸¸³Ë´ë
2021-11   3834   È÷¼ÒÄ«
2023-11   3835   Rainwalk
2020-10   3835   ¶ÊÀ̶ó¿ä