안녕하세요.
예전에 유정호님이 판매하셨던 제품과 동일한 물건을 사용하고 있습니다. (U.2 NVME SSD 4TB)
( http://2cpu.co.kr/sell/324033?&sfl=wr_subject%7C%7Cwr_content&stx=u.2&sop=and )
U.2 NVME to PCIe 컨버터를 이용하고 있고요.
지금 당장 구매할 것은 아니지만 궁금증이 생겨 질문합니다.
U.2 NVME SSD를 Rack type의 Server에서 Drive Bay에 넣어서 사용하려면 어떤 별도의 백플레인이 필요한 것인가요?
아니면 U.2 NVME SSD를 지원하는 별도의 Server를 구매해야 하나요?
전자의 경우라면 백플레인의 명칭이나 간단한 이미지 혹은 링크라도 남겨 주시면 감사하겠고,
후자의 경우라면 Server의 모델명이라도 알려주시면 좋겠습니다.
마지막으로,
U.2 NVME SSD가 일반적인 12G SAS SSD보다 속도가 빠른것으로 알고 있는데 추천할만한 RAID Controller가 있으면 부탁드릴게요.
감사합니다.
그 서버의 보드바이오스에서 소프트웨어로 NVME를 묶을수 있습니다..
레이드콘트롤러는 LSI 최신형 제품이 지원하는데 백플레인과 케이블이 지원되야 합니다..
https://www.broadcom.com/products/storage/raid-controllers/tab-12Gb-nvme
아직 다른레이드 카드 제조사는 U2 NVME에 대한 제품이 없다고 봐도 됩니다..
국내에서는 벤터제품을 특주하던지 인텔서버제품을 특주하는 정도가 다입니다..
조립 시장에서는 아답터랑 케이블 구하기도 하늘에 별따기입니다..
물론 U2 NVME SSD는 일반 리테일 시장에 아예 없죠..
https://www.youtube.com/watch?v=fzBroY26nEU
별도의 추가 바이오스 없이
NVMe Bay Kit 추가만으로 동작 됩니다
단지 이 베이 키트가 붙기위한 파트비용이 100만원 살짝 넘습니다
다른벤더도 비슷한 개념 아닐까 싶은데 모르겠네요
NVME Bay Kit으로는 어떤게 있는지 파트넘버라든지 모델명이라던지 알 수 있을까요?
옵션이 많아지면 불편하니 지원하는 모델을 따로 만듭니다..
(참고)
http://2cpu.co.kr/hardware_2014/42195
제가 사용하는 2.5인치 드라이브 베이 키트인데, 8개의 NVMe 혹은 SAS/SATA SSD/하드디스크를 사용할 수 있도록 되어 있습니다. NVMe 5개 + SAS 3개, NVMe 3개 + SAS 2개 + SATA 3개,... 이런 식으로 2.5인치이면 아무 것이나 넣어도 됩니다. 뒤에 있는 백플레인에는 NVMe용 OcuLink 8 포트와 SAS 8포트를 연결하도록 되어 있습니다.
과거에는 NVMe 연결 케이블을 sff-8643을 많이 썼는데, 지금은 대부분 OcuLink로 바뀌어가고 있습니다.
백플레인만 있으면 되는 것이 아니라 NVMe HBA라고 할까나 하는 것이 PCI 슬롯에 있어야 합니다.
거기에는 PCIe redriver, retimer, switch 등이 있습니다. redriver나 retimer는 메인보드에서 PCIe bifurcation을 지원해야 사용할 수 있습니다. E5-2600 V3/V4 보드 중에도 bifurcation을 지원하는 보드가 있고 그렇지 않은 것이 있습니다. 이것은 PCIe 3.0 x16을 x4 4개로 분할하여 4개의 NVMe를 연결할 수 있도록 해 줍니다.
switch는 bifurcation을 지원하지 않는 보드에서도 사용할 수 있습니다. PCIe x8에서 2개만 사용할 수 있는 것이 아니라 4개 혹은 8개까지 사용할 수도 있습니다. x16에서 8개를 사용할 수 있도록 해 주는 switch 보드도 있습니다. 네트워크 스위치나 SAS expander와 비슷한 개념이죠.
PCIe x8에서 8개의 NVMe를 사용할 수 있도록 해 주는 switch를 사용한다면 개개 NVMe를 사용할 때는 상관 없지만 만일 8개를 raid 0으로 묶는다든지 한다면 대역폭이 문제가 되겠죠. 그러나 랜덤 쓰기 같은 경우는 대역폭보다 SSD 자체 성능이 중요합니다. 가령 P4500 4TB의 경우 sustained random write 속도는 48k iops인데, 200MB/sec가 안되는 속도입니다. 연속 쓰기 읽기는 8개를 묶어도 대략 6400MB/sec 정도를 넘을 수 없지만 random write는 SSD 자체 능력을 충분히 소화할 만한 능력이 됩니다. redriver나 retimer는 놀고 있는 포트가 있어도 PCIe 레인을 낭비하는 경향이 있죠. 서로 간에 장단점이 있으니 필요에 따라 조합하여 사용할 수도 있을 겁니다. SSD 숫자가 아주 많다면 switch를 사용해야 할 겁니다.
그리고 Avago(LSI)에서 나오는 것중에 tri mode 아답터라는 것이 있는데, 실용성은 많이 떨어지는 것 같습니다. 8포트 짜리이면 NVMe 없이 SAS 8포트로 사용하거나 SAS 없이 NVMe 2포트로 사용하거나이고, 16포트 짜리이면 NVMe 4 포트 + SAS 0 포트 혹은 NVMe 2포트 + SAS 8 포트 혹은 NVMe 0 포트 + SAS 16 포트로 사용해야 하는데요. 너무 비쌉니다.
질문 몇개 다시 드릴게요.
1. 백플레인의 어떤 부분을 보면 (모양/모델넘버 등) NVME도 지원되는 것인지 알 수 있나요?
2. NVME HBA가 PCI 슬롯에 있어야 된다고 하셨는데요. NVME HBA는 온보드 형태인가요? 아니면 컨트롤러에 내장되는 형태인가요? 무엇을 확인해봐야 가능한지 궁금합니다. (참고로 컨트롤러는 H730 사용중입니다.)
예전에는 OcuLink를 사용하지 않고 sff-8643을 사용했는데, 그런 것이라면 SAS용 포트는 까만색 NVMe용 포트는 흰색으로 구분해 놓기도 합니다.(인텔의 경우) 역시 모델명을 보고 검색해 보아야겠지요.
NVMe HBA라고 부를 수 있는 것들은 온보드인 것도 있고, PCIe 슬롯에 꽂아 사용할 수 있는 것도 있습니다. 메인보드에서 지원하는 경우라면 scalable CPU 사용하는 보드 정도에나 있을 겁니다. 아래에 추천해 놓은 것들은 PCIe 슬롯에 꽂아 사용할 수 있는 것으로 eBay나 NewEgg, Amazon 등에서 구입할 수 있는 것들입니다.
H730은 NVMe 지원하지 않습니다. H740도 마찬가지입니다. H740은 LSI의 trimode 칩을 사용하지만 NVMe 지원은 막아 놓은 듯
RAID Controller 대신 NVME HBA를 장착하고 Raid가 필요하면 Software Raid로 사용하는게 일반적인가요?
SuperMicro AOC-SLG3-4E4T - PCIe x16 슬롯에서 4개의 OcuLink 포트 제공
Intel AIC AXXP3RTX16040 - PCIe x16 슬롯에서 4개의 OcuLink 포트 제공
두가지 모두 eBay에서 구입할 수 있습니다. 150 달러 정도
메인보드가 PCIe bifurcation을 지원하지 않는다면
SuperMicro AOC-SLG3-4E2P - PCIe x8 슬롯에서 4개의 OcuLink 포트 제공
SuperMicro AOC-SLG3-8E2P - PCIe x16 슬롯에서 8개의 OcuLink 포트 제공
Intel AIC AXXP3SWX08040 - - PCIe x8 슬롯에서 4개의 OcuLink 포트 제공
Intel AIC AXXP3SWX08080 - - PCIe x8 슬롯에서 8개의 OcuLink 포트 제공(제가 현재 사용하고 있는 것)
switch 보드들은 좀 비쌉니다.
대략 이런 정도를 추천할 수 있습니다.
NVMe 지원 백플레인이 있다면 거기에 연결하면 되고, 없다면 OcuLink to SFF-8639 케이블를 구매하여 U.2 SSD에 직결하면 됩니다.
그 외에 U.2가 아닌 M.2 NVMe 4개를 사용할 수 있도록 해 주는 카드도 있습니다.
Asus HYPER M.2 X16 CARD
(bifurcation 지원 보드에서만 사용 가능)
그리고 SAS와 NVMe를 비교하자면 대역폭이 NVMe가 큰만큼 연속 읽기 쓰기와 random 읽기에서 유리한데요. random write는 SSD 자체 성능이 좋아야 합니다. 기업용이 아닌 일반용 NVMe SSD들 중에는 sustained 4k write 속도가 10k iops도 안되는 것들이 많습니다.(spec에 표시하는 burst 속도는 높음) SAS SSD 중에서 고성능인 것은 4k write 속도가 300k iops나 됩니다. 기업용인 P4500 4TB보다도 6배는 빠른 것이죠. 물론 4k write 외에 다른 성능은 P4500이 높습니다. 그러니까 자체 성능을 보아야 합니다.
보통의 M.2 NVME SSD의 경우 가격 대비 용량이 아쉽거나 확장성이 떨어져서 (4개 초과 불가능) 처분한 뒤로는 용량, 확장성이 용이한 U.2 NVME SSD로 생각이 바뀌더라고요.
Quad로 묶어서 사용 해본것은 960Pro 2TB * 4ea인데 속도는 충분한데 용량 확장이 여의치 않아서 많이 아쉽더라고요.
Windows라면 Storage Spaces를 사용하면 됩니다. hot data는 SSD에 cold data는 하드디스크에 있도록 tiering을 사용하는 것입니다.
웬만한 사용의 경우 hot data가 그리 많지는 않습니다.
그리고 일반 사용이 아니라 transaction용이라면 일반용 M.2 NVMe보다는 기업용 SATA/SAS나 U.2 NVMe 사용하시는 것이 좋을 것 같습니다.(그런 것 사용한다고 웹서핑 체감속도가 빨라지는 것은 아니지만)
(특정 데이터 연산후 1차 결과물 DB저장, 1차 결과물을 재처리를 통해 2차, 3차, 4차 결과물 DB저장)
어떻게 구성되느냐 같은 문제는 해당 모델의 메뉴얼을 보시면 보통 다 설명이 되어 있습니다..
그 이상을 알려면 제조사 기술지원이나 개발쪽과 컨택이 필요합니다.. (기술영업쪽이 우선 더 쉬울지도)
가장 큰 문제는 돈입니다..
7920T의 경우도 마찬가지로 알고 있습니다. 개별 부속의 수급은 매우 어렵더군요. 이베이를 뒤져도 안나오더라구요.
지금 당장은 아니고 아마 몇개월은 더 있어야 가능하지 않을까 생각 됩니다.
여러해 전에 한번 뵙고 못 뵈었군요.^^