인텔 P4308 타워 서버인데 메인보드는 S2600CP가 들어 있습니다.
아래 8개 베이는 3.5인치 SAS/SATA인데, 5.25인치 베이 두개에 2.5인치 8베이 키트를 달았습니다.
요게 NVMe와 SAS/SATA 공용인 combo drive kit입니다.
2U Hot-swap 8x2.5inch SAS/NVMe Combo Drive Bay Kit A2U8X25S3PHS
백플레인이 요런 식으로 되어 있어서 OcuLink 8 port를 통해 NVMe와 연결하고, sff-8643 2포트를 통해 SAS와 연결합니다.
이렇게 U.2 인터페이스로 8베이를 꼽을 수 있습니다.
연결만 해 놓으면 8베이에는 U.2 NVMe SSD나 SAS/SATA SSD 혹은 HDD를 아무데나 꽂아도 다 인식합니다.
U.2 NVMe SSD 8개를 꽂아도 되고, SAS SSD 8개를 꽂아도 되고, NVMe 3개와 SAS 5개를 꽂아도 되고, SATA SSD/HDD를 꽂아도 되고.
각각의 U.2 인터페이스는 OcuLink를 통해 NVMe와 연결되어 있고, SFF-8643을 통해 SAS 콘트롤러와도 연결되어 있습니다.
꽂는 놈이 SAS SSD/HDD이면 SAS 콘트롤러와 연결해 주고, NVMe SSD이면 NVMe 아답터와 연결해 줍니다. 같은 U.2 인터페이스를 사용하지만 pin에 따라 구별이 가능하기 때문에 자동 인식됩니다.
NVMe나 SAS/SATA 아무 것이나 집어 넣으면 됩니다.
host 쪽에서 SAS는 SAS 콘트롤러에서 SFF-8643으로 연결하면 됩니다.
NVMe는 retimer 보드나 PCIe switch 보드와 OcuLink를 통해 연결하면 됩니다.
retimer 보드는 PCIe x16에서 NVMe 4포트로 나눠주는 것과 x8에서 NVMe 2포트로 나눠주는 것들이 SuperMicro나 Intel에서 나오고 있습니다.
switch 보드는 PCIe x8에서 NVMe 2포트 x16에서 NVMe 4포트를 생성해 주는 것이 SuperMicro에서 나오고, 인텔에서는 PCIe x8에서 NVMe 4포트 혹은 8 포트를 생성해 주는 것이 나오고 있습니다.
SuperMicro의 PCIe switch와 retimer 보드들(NVMe 여러개 쓰는 보드)
https://www.supermicro.com/ja/products/storage/cards
retimer 보드는 가격이 싼데, 메인보드가 PCIe bifurcation을 지원해야 쓸 수 있습니다.
switch 보드는 가격이 꽤 비싼데, bifurcation을 지원하지 않는 메인보드에서도 사용할 수 있습니다.
제가 사용하는 S2600CP는 bifurcation을 지원하지 않으므로 눈물을 머금고 비싼 인텔의 PCIe x8 -> NVMe 8포트 switch 보드를 사서 끼웠습니다.
물론 PCIe x8에서 NVMe 8 포트를 동시에 사용하면 대역폭이 모자랍니다. 네트워크 스위치처럼 작동되므로 동시에 여러개를 사용하지 않으면 제 속도가 나옵니다. NVMe와 SAS는 별도이므로 대역폭은 따로따로.
실제로 NVMe SSD가 인터페이스 속도는 높지만 SSD 성능이 대역폭을 다 채우지는 못합니다. Optane SSD를 제외하면 좋은 기업용 NVMe SSD도 read/write mixed일 때는 1000MB/sec 미만입니다. random 쓰기에서는 말할 것도 없고요. 그러니까 실질적으로는 PCIe x8 하나로 NVMe 여러개를 동시에 사용해도 저하되는 것은 그리 크지는 않습니다.
어느 리뷰 기사에서 보니 x16 -> NVMe 4포트 retimer와 x8 -> 4포트 switch에 U.2 NVMe SSD 4개를 달아 raid로 묶어 벤치마크해 보았는데, read와 write burst 속도를 제외하면 대부분 성능이 비슷비슷하게 나왔습니다.
나중에 메인보드를 S2600CW로 바꾸고 나면 x16 retimer 보드를 하나 사서 4포트는 retimer 보드에 연결하고 4포트는 기존의 switch 보드에 연결하려고 합니다. 기분은 좋겠지만 실질적인 성능은 Optane SSD 여러개를 동시에 쓰지 않으면 크게 차이는 나지 않을 것입니다.
U.2용이 아닌 M.2용으로는 Asus에서 나온 PCIe x16에 M.2 NVMe 4개 달 수 있는 보드가 가성비가 제일 좋은 듯. 물론 PCIe bifurcation을 지원하는 메인보드에서만 사용할 수 있습니다.
Asus HYPER M.2 X16 CARD
https://www.asus.com/us/Motherboard-Accessories/HYPER-M-2-X16-CARD/
eBay
저도 U.2 NVMe에 많은 관심을 가지고 있는데, 아직은 가격대가 쉽게 접근하기는 힘들어 보입니다.ㅎㅎ
핫스왑 베이에 NVMe와 SAS/SATA를 동시에 지원하기 위해서는 필요한 부분이군요.
T630은 PCIe bifurcation을 지원하지 않는 것으로 보입니다. 따라서 ASUS HyperX16 따위 PCIe 카드는 사용할 수 없습니다.
PCIe bifurcation을 지원하지 않는 메인보드의 경우에도 PCIe 스위치 칩(PLX 칩 등)이 들어있는 PCIe 카드 혹은 LSI tri-mode 지원 카드는 사용할 수 있습니다.
T630 3.5인치 18베이 모델은 백플레인을 교체할 수도 없고(백플레인 교체는 2.5인치 베이만 가능함.), 공간이 없어서 2.5인치 U.2 4베이를 증설할 수도 없습니다.
T630 3.5인치 8베이 모델이나 2.5인치 16베이 모델에는 2.5인치 U.2 4베이를 증설할 수 있습니다. ODD 밑에 공간이 있습니다.(eBay에 나온 베이 + 카드 + 케이블 세트. 구성품 중의 PCIe 카드는 LSI tri-mode 계열인 것으로 보입니다.)
T630 2.5인치 16베이 모델은 기존의 백플레인을 U.2 4베이 백플레인으로 교체할 수 있습니다. 2NJDR
이 경우에도 여기에 맞는 PCIe 카드와 케이블을 같이 사용해야 합니다.
이상은 링크해 주신 글에 나온 답변 등을 보고 판단한 내용들입니다. 저는 T630 구경해 본 적도 없습니다. 잘못된 내용이 있으면 T630을 사용해 본 분들이 수정해 주시기를 희망합니다.
T630은 PCIe bifurcation을 지원하지 않기 때문에 redriver나 retimer 보드는 사용할 수 없습니다.
PCIe bifurcation을 지원하지 않는 시스템에서도 PCIe switch 칩(Avago의 PLX칩 혹은 Microsemi의 switch 칩)을 장착한 카드 혹은 Avago(LSI)의 tri-mode 칩을 장착한 카드는 사용할 수 있습니다.
T630에서 사용하는 카드는
GY1TD
https://www.ebay.com/itm/GY1TD-DELL-POWEREDGE-SERVER-SSD-NVMe-EXTENDER-EXPANSION-CONTROLLER-CARD/352831390000
P31H2
https://www.ebay.com/itm/DELL-PCI-E-EXTENDER-ADAPTER-CARD-LOW-PROFILE-P31H2-FREE-SHIPPING/283343814842
이 두가지는 같은 것입니다. 모양으로 보아 Avago(LSI)의 tri-mode 칩을 장착한 카드인 것으로 짐작했으나, 사실은 Avago의 PLX칩(PEX8734)을 장착한 카드였습니다. 즉 PCIe switch 보드인 것이죠.
이 카드와 드라이브 베이 그리고 연결하는 케이블을 모두 합한 kit가 아래 물건입니다.
https://www.ebay.com/itm/DELL-POWEREDGE-T630-4-BAY-SSD-PCIE-HDD-NVME-EXPANDER-W-BACKPLANE-AND-CABLES/173978754856
위 물건에 달려있는 백플레인이 2NJDR입니다.
https://www.ebay.com/itm/Dell-T620-Pci-e-SSD-Hard-Drive-Backplane-2-5-SFF-4-Bay-02NJDR-2NJDR/233236572916
Intel 서버를 생각하여 2.5인치 SAS/SATA 베이의 기존 백플레인을 교체할 수 있으리라 생각했으나, 이 물건은 높이로 보아 그럴 수 있을 것 같지는 않습니다.
하여간 저 4x NVMe 베이 키트를 장착하려면 공간이 있어야 합니다.
T630 중에서 3.5인치 18베이 모델은 공간이 없어서 장착 불가
https://cdn.etb-tech.com/media/catalog/product/cache/68250b5260b930b2300bcc8422ca32a1/d/e/dell_poweredge_t630_1x18_0xhdd_front_original.jpg
T630 중에서 2.5인치 16베이 모델은 장착 가능
https://cdn11.bigcommerce.com/s-6e5d5/images/stencil/original/products/6704/15665/t630__17070.1489176160.png
T630 중에서 3.5인치 8베이 모델은 장착 가능
https://www.itcreations.com/images/products/large/DELL_T630_3.5_TOWER_8BAY_1.jpg
(위에 써 놓은 댓글에서 수정한 사항)
* 카드는 tri-mode 계열이 아니라 PLX 칩을 장착한 switch 보드임
* 2NJDR 백플레인은 기존의 2.5인치 베이의 백플레인을 교체하는 용도로 사용할 수 없을 것 같음.
카드, 케이블, 베이 세트로 된 것을 구매하여 장착하는 것이 제일 간단할 것으로 보입니다.(3.5인치 18베이 모델은 공간 부족으로 제외)
그런데 사진에 보니 캐디 4개가 없어서 따로 구매해야 할 것 같군요.
여기 어딘가요??
가서 먼지 털어주고 싶다.
점검 요청 합니다.
전면에 먼지가 너무 많네요.
환경적은 면을 체크하세요.