[ETC] NVMe와 SAS/SATA 공용 8베이 combo drive kit

   조회 1930   추천 1    

 






인텔 P4308 타워 서버인데 메인보드는 S2600CP가 들어 있습니다.

아래 8개 베이는 3.5인치 SAS/SATA인데, 5.25인치 베이 두개에 2.5인치 8베이 키트를 달았습니다.


요게 NVMe와 SAS/SATA 공용인 combo drive kit입니다.


2U Hot-swap 8x2.5inch SAS/NVMe Combo Drive Bay Kit A2U8X25S3PHS

https://ark.intel.com/content/www/kr/ko/ark/products/99083/2u-hot-swap-8x2-5inch-sas-nvme-combo-drive-bay-kit-a2u8x25s3phs.html 






백플레인이 요런 식으로 되어 있어서 OcuLink 8 port를 통해 NVMe와 연결하고, sff-8643 2포트를 통해 SAS와 연결합니다.






이렇게 U.2 인터페이스로 8베이를 꼽을 수 있습니다. 

연결만 해 놓으면 8베이에는 U.2 NVMe SSD나 SAS/SATA SSD 혹은 HDD를 아무데나 꽂아도 다 인식합니다.

U.2 NVMe SSD 8개를 꽂아도 되고, SAS SSD 8개를 꽂아도 되고, NVMe 3개와 SAS 5개를 꽂아도 되고, SATA SSD/HDD를 꽂아도 되고.

각각의 U.2 인터페이스는 OcuLink를 통해 NVMe와 연결되어 있고, SFF-8643을 통해 SAS 콘트롤러와도 연결되어 있습니다.

꽂는 놈이 SAS SSD/HDD이면 SAS 콘트롤러와 연결해 주고, NVMe SSD이면 NVMe 아답터와 연결해 줍니다. 같은 U.2 인터페이스를 사용하지만 pin에 따라 구별이 가능하기 때문에 자동 인식됩니다.


NVMe나 SAS/SATA 아무 것이나 집어 넣으면 됩니다.


host 쪽에서 SAS는 SAS 콘트롤러에서 SFF-8643으로 연결하면 됩니다.

NVMe는 retimer 보드나 PCIe switch 보드와 OcuLink를 통해 연결하면 됩니다.


retimer 보드는 PCIe x16에서 NVMe 4포트로 나눠주는 것과 x8에서 NVMe 2포트로 나눠주는 것들이 SuperMicro나 Intel에서 나오고 있습니다.

switch 보드는 PCIe x8에서 NVMe 2포트 x16에서 NVMe 4포트를 생성해 주는 것이 SuperMicro에서 나오고, 인텔에서는 PCIe x8에서 NVMe 4포트 혹은 8 포트를 생성해 주는 것이 나오고 있습니다.


SuperMicro의 PCIe switch와 retimer 보드들(NVMe 여러개 쓰는 보드)

https://www.supermicro.com/ja/products/storage/cards 


retimer 보드는 가격이 싼데, 메인보드가 PCIe bifurcation을 지원해야 쓸 수 있습니다.

switch 보드는 가격이 꽤 비싼데, bifurcation을 지원하지 않는 메인보드에서도 사용할 수 있습니다.

제가 사용하는 S2600CP는 bifurcation을 지원하지 않으므로 눈물을 머금고 비싼 인텔의 PCIe x8 -> NVMe 8포트 switch 보드를 사서 끼웠습니다.


물론 PCIe x8에서 NVMe 8 포트를 동시에 사용하면 대역폭이 모자랍니다. 네트워크 스위치처럼 작동되므로 동시에 여러개를 사용하지 않으면 제 속도가 나옵니다. NVMe와 SAS는 별도이므로 대역폭은 따로따로.

실제로 NVMe SSD가 인터페이스 속도는 높지만 SSD 성능이 대역폭을 다 채우지는 못합니다. Optane SSD를 제외하면 좋은 기업용 NVMe SSD도 read/write mixed일 때는 1000MB/sec 미만입니다. random 쓰기에서는 말할 것도 없고요. 그러니까 실질적으로는 PCIe x8 하나로 NVMe 여러개를 동시에 사용해도 저하되는 것은 그리 크지는 않습니다.

어느 리뷰 기사에서 보니 x16 -> NVMe 4포트 retimer와 x8 -> 4포트 switch에 U.2 NVMe SSD 4개를 달아 raid로 묶어 벤치마크해 보았는데, read와 write burst 속도를 제외하면 대부분 성능이 비슷비슷하게 나왔습니다.


나중에 메인보드를 S2600CW로 바꾸고 나면 x16 retimer 보드를 하나 사서 4포트는 retimer 보드에 연결하고 4포트는 기존의 switch 보드에 연결하려고 합니다. 기분은 좋겠지만 실질적인 성능은 Optane SSD 여러개를 동시에 쓰지 않으면 크게 차이는 나지 않을 것입니다.


U.2용이 아닌 M.2용으로는 Asus에서 나온 PCIe x16에 M.2 NVMe 4개 달 수 있는 보드가 가성비가 제일 좋은 듯. 물론 PCIe bifurcation을 지원하는 메인보드에서만 사용할 수 있습니다.


Asus HYPER M.2 X16 CARD

https://www.asus.com/us/Motherboard-Accessories/HYPER-M-2-X16-CARD/ 


eBay

https://www.ebay.com/itm/Asus-Hyper-M-2-X16-Card-V2-Interface-Adapter-M-2-Expansion-Sl-NEW/133176130225 



짧은글 일수록 신중하게.
송주환 09-19
깔끔한 정리 감사드립니다.
저도 U.2 NVMe에 많은 관심을 가지고 있는데, 아직은 가격대가 쉽게 접근하기는 힘들어 보입니다.ㅎㅎ
최완우 09-19
이런 이유로 U.2 인터페이스에 굳이 SATA 레인을 집어 넣은 것이군요... U.2 SATA 드라이브가 나오는 것도 아닌데 왜 달려있는걸까 하고 궁금해했었습니다.
핫스왑 베이에 NVMe와 SAS/SATA를 동시에 지원하기 위해서는 필요한 부분이군요.
박문형 09-20




제목Page 1/254
2014-04   2550566   회원K
10-11   822   허인구마틴
10-16   3086   skydeux
10-14   3445   datafaber
10-10   4029   datafaber
09-24   4060   통통9
09-23   4070   박문형
09-23   1985   2CPU최주희
09-23   1675   차넷컴퓨터
09-19   1931   간장게장
09-15   2525   알파고
09-13   2049   통통9
09-10   2422   박건
09-10   2097   린드버그
09-07   2694   김병규
09-06   2385   맑은부철
09-06   2352   아스란
09-06   2302   김병규
09-06   2332   김병규
09-05   2317   김병규
09-04   2565   2CPU최주희
09-04   2280   박문형