박문형 2019-10

U.2 NVME SSD가 달리는 서버가 따로 존재 합니다..

그 서버의 보드바이오스에서 소프트웨어로 NVME를 묶을수 있습니다..

레이드콘트롤러는 LSI 최신형 제품이 지원하는데 백플레인과 케이블이 지원되야 합니다..

https://www.broadcom.com/products/storage/raid-controllers/tab-12Gb-nvme

아직 다른레이드 카드 제조사는 U2 NVME에 대한 제품이 없다고 봐도 됩니다..


국내에서는 벤터제품을 특주하던지 인텔서버제품을 특주하는 정도가 다입니다..

조립 시장에서는 아답터랑 케이블 구하기도 하늘에 별따기입니다..

물론 U2 NVME SSD는 일반 리테일 시장에 아예 없죠..

이빠빠 2019-10

늘 감사합니다.

박문형 2019-10

https://www.youtube.com/watch?v=HUzjmBdWyE8

https://www.youtube.com/watch?v=fzBroY26nEU

김황중 2019-10

Hpe 서버들은 NVMe용 서버가 따로 있거나
별도의 추가 바이오스 없이
NVMe Bay Kit 추가만으로 동작 됩니다

단지 이 베이 키트가 붙기위한 파트비용이 100만원 살짝 넘습니다

다른벤더도 비슷한 개념 아닐까 싶은데 모르겠네요

이빠빠 2019-10

잘 계시죠?
NVME Bay Kit으로는 어떤게 있는지 파트넘버라든지 모델명이라던지 알 수 있을까요?

박문형 2019-10

다른데도 비슷합니다..

옵션이 많아지면 불편하니 지원하는 모델을 따로 만듭니다..

간장게장 2019-10

우선 U.2 NVMe SSD 여러개를 사용하기 위한 백플레인은 따로 있습니다. SuperMicro, Intel, 기타 등등에서 나오는데 대개 기존의 2.5인치 베이에 백플레인만 바꾸면 사용할 수 있도록 되어 있습니다.

(참고)
http://2cpu.co.kr/hardware_2014/42195
제가 사용하는 2.5인치 드라이브 베이 키트인데, 8개의 NVMe 혹은 SAS/SATA SSD/하드디스크를 사용할 수 있도록 되어 있습니다. NVMe 5개 + SAS 3개, NVMe 3개 + SAS 2개 + SATA 3개,... 이런 식으로 2.5인치이면 아무 것이나 넣어도 됩니다. 뒤에 있는 백플레인에는 NVMe용 OcuLink 8 포트와 SAS 8포트를 연결하도록 되어 있습니다.

과거에는 NVMe 연결 케이블을 sff-8643을 많이 썼는데, 지금은 대부분 OcuLink로 바뀌어가고 있습니다.

백플레인만 있으면 되는 것이 아니라 NVMe HBA라고 할까나 하는 것이 PCI 슬롯에 있어야 합니다.

거기에는 PCIe redriver, retimer, switch 등이 있습니다. redriver나 retimer는 메인보드에서 PCIe bifurcation을 지원해야 사용할 수 있습니다. E5-2600 V3/V4 보드 중에도 bifurcation을 지원하는 보드가 있고 그렇지 않은 것이 있습니다. 이것은 PCIe 3.0 x16을 x4 4개로 분할하여 4개의 NVMe를 연결할 수 있도록 해 줍니다.

switch는 bifurcation을 지원하지 않는 보드에서도 사용할 수 있습니다. PCIe x8에서 2개만 사용할 수 있는 것이 아니라 4개 혹은 8개까지 사용할 수도 있습니다. x16에서 8개를 사용할 수 있도록 해 주는 switch 보드도 있습니다. 네트워크 스위치나 SAS expander와 비슷한 개념이죠.

PCIe x8에서 8개의 NVMe를 사용할 수 있도록 해 주는 switch를 사용한다면 개개 NVMe를 사용할 때는 상관 없지만 만일 8개를 raid 0으로 묶는다든지 한다면 대역폭이 문제가 되겠죠. 그러나 랜덤 쓰기 같은 경우는 대역폭보다 SSD 자체 성능이 중요합니다. 가령 P4500 4TB의 경우 sustained random write 속도는 48k iops인데, 200MB/sec가 안되는 속도입니다. 연속 쓰기 읽기는 8개를 묶어도 대략 6400MB/sec 정도를 넘을 수 없지만 random write는 SSD 자체 능력을 충분히 소화할 만한 능력이 됩니다. redriver나 retimer는 놀고 있는 포트가 있어도 PCIe 레인을 낭비하는 경향이 있죠. 서로 간에 장단점이 있으니 필요에 따라 조합하여 사용할 수도 있을 겁니다. SSD 숫자가 아주 많다면 switch를 사용해야 할 겁니다.

그리고 Avago(LSI)에서 나오는 것중에 tri mode 아답터라는 것이 있는데, 실용성은 많이 떨어지는 것 같습니다. 8포트 짜리이면 NVMe 없이 SAS 8포트로 사용하거나 SAS 없이 NVMe 2포트로 사용하거나이고, 16포트 짜리이면 NVMe 4 포트 + SAS 0 포트 혹은 NVMe 2포트 + SAS 8 포트 혹은 NVMe 0 포트 + SAS 16 포트로 사용해야 하는데요. 너무 비쌉니다.

이빠빠 2019-10

링크 올려주신 것이랑 설명 해주신 내용 잘 봤습니다.

질문 몇개 다시 드릴게요.

1. 백플레인의 어떤 부분을 보면 (모양/모델넘버 등) NVME도 지원되는 것인지 알 수 있나요?
2. NVME HBA가 PCI 슬롯에 있어야 된다고 하셨는데요. NVME HBA는 온보드 형태인가요? 아니면 컨트롤러에 내장되는 형태인가요? 무엇을 확인해봐야 가능한지 궁금합니다. (참고로 컨트롤러는 H730 사용중입니다.)

간장게장 2019-10

백플레인에 OcuLink 포트가 있으면 NVMe 지원하는 것이라고 보아도 됩니다. 모델명 보고 검색해 보는 것이 확실
예전에는 OcuLink를 사용하지 않고 sff-8643을 사용했는데, 그런 것이라면 SAS용 포트는 까만색 NVMe용 포트는 흰색으로 구분해 놓기도 합니다.(인텔의 경우) 역시 모델명을 보고 검색해 보아야겠지요.

NVMe HBA라고 부를 수 있는 것들은 온보드인 것도 있고, PCIe 슬롯에 꽂아 사용할 수 있는 것도 있습니다. 메인보드에서 지원하는 경우라면 scalable CPU 사용하는 보드 정도에나 있을 겁니다. 아래에 추천해 놓은 것들은 PCIe 슬롯에 꽂아 사용할 수 있는 것으로 eBay나 NewEgg, Amazon 등에서 구입할 수 있는 것들입니다.

H730은 NVMe 지원하지 않습니다. H740도 마찬가지입니다. H740은 LSI의 trimode 칩을 사용하지만 NVMe 지원은 막아 놓은 듯

이빠빠 2019-10

OcuLink가 있는지는 봐야 알겠지만 H730이 기본으로 장착되어 온 모델이라 아마도 없을것으로 생각됩니다.

RAID Controller 대신 NVME HBA를 장착하고 Raid가 필요하면 Software Raid로 사용하는게 일반적인가요?

간장게장 2019-10

메인보드가 PCIe bifurcation을 지원한다면

SuperMicro AOC-SLG3-4E4T - PCIe x16 슬롯에서 4개의 OcuLink 포트 제공
Intel AIC AXXP3RTX16040 - PCIe x16 슬롯에서 4개의 OcuLink 포트 제공
두가지 모두 eBay에서 구입할 수 있습니다. 150 달러 정도

메인보드가 PCIe bifurcation을 지원하지 않는다면
SuperMicro AOC-SLG3-4E2P - PCIe x8 슬롯에서 4개의 OcuLink 포트 제공
SuperMicro AOC-SLG3-8E2P - PCIe x16 슬롯에서 8개의 OcuLink 포트 제공
Intel AIC AXXP3SWX08040 - - PCIe x8 슬롯에서 4개의 OcuLink 포트 제공
Intel AIC AXXP3SWX08080 - - PCIe x8 슬롯에서 8개의 OcuLink 포트 제공(제가 현재 사용하고 있는 것)
switch 보드들은 좀 비쌉니다.

대략 이런 정도를 추천할 수 있습니다.

NVMe 지원 백플레인이 있다면 거기에 연결하면 되고, 없다면 OcuLink to SFF-8639 케이블를 구매하여 U.2 SSD에 직결하면 됩니다.

그 외에 U.2가 아닌 M.2 NVMe 4개를 사용할 수 있도록 해 주는 카드도 있습니다.
Asus HYPER M.2 X16 CARD
(bifurcation 지원 보드에서만 사용 가능)

그리고 SAS와 NVMe를 비교하자면 대역폭이 NVMe가 큰만큼 연속 읽기 쓰기와 random 읽기에서 유리한데요. random write는 SSD 자체 성능이 좋아야 합니다. 기업용이 아닌 일반용 NVMe SSD들 중에는 sustained 4k write 속도가 10k iops도 안되는 것들이 많습니다.(spec에 표시하는 burst 속도는 높음) SAS SSD 중에서 고성능인 것은 4k write 속도가 300k iops나 됩니다. 기업용인 P4500 4TB보다도 6배는 빠른 것이죠. 물론 4k write 외에 다른 성능은 P4500이 높습니다. 그러니까 자체 성능을 보아야 합니다.

이빠빠 2019-10

M.2 NVME SSD 4개(Quad)를 사용하는 것은 HP와 Dell 것을 사용 해봤는데요.
보통의 M.2 NVME SSD의 경우 가격 대비 용량이 아쉽거나 확장성이 떨어져서 (4개 초과 불가능) 처분한 뒤로는 용량, 확장성이 용이한 U.2 NVME SSD로 생각이 바뀌더라고요.
Quad로 묶어서 사용 해본것은 960Pro 2TB * 4ea인데 속도는 충분한데 용량 확장이 여의치 않아서 많이 아쉽더라고요.

간장게장 2019-10

2TB 4개로 용량이 부족하다면 SSD로만 모두 감당하는 것보다는  NVMe + Hard Disk 조합을 생각해 보시는 것도 한 방법입니다.

Windows라면 Storage Spaces를 사용하면 됩니다. hot data는 SSD에 cold data는 하드디스크에 있도록 tiering을 사용하는 것입니다.
웬만한 사용의 경우 hot data가 그리 많지는 않습니다.

그리고 일반 사용이 아니라 transaction용이라면 일반용 M.2 NVMe보다는 기업용 SATA/SAS나 U.2 NVMe 사용하시는 것이 좋을 것 같습니다.(그런 것 사용한다고 웹서핑 체감속도가 빨라지는 것은 아니지만)

이빠빠 2019-10

DB용이고 모든 데이터가 hot data이기 때문에 performance 때문에 HDD는 엄두가 안나네요.
(특정 데이터 연산후 1차 결과물 DB저장, 1차 결과물을 재처리를 통해 2차, 3차, 4차 결과물 DB저장)

이빠빠 2019-10

여담입니다만, OcuLink 포트를 보니 꼭 모니터와 연결하는 DP 포트처럼 생겼네요.

박문형 2019-10

국내에서는 각종 부품 수급이 곤란하기에 완제품 형태로 밖에 답이 안나옵니다..

어떻게 구성되느냐 같은 문제는 해당 모델의 메뉴얼을 보시면 보통 다 설명이 되어 있습니다..

그 이상을 알려면 제조사 기술지원이나 개발쪽과 컨택이 필요합니다.. (기술영업쪽이 우선 더 쉬울지도)

가장 큰 문제는 돈입니다..

악마라네 2019-10

이번에 구입한 Dell 5820T의 경우 U.2 NVME 가 사용가능합니다. 모든 5820T에서 사용가능하지 않고 NVME를 쓸수 있도록 백플레인이 구성되어 출고된 모델들만 특정 HDD 베이에서 사용가능하더군요. (사실 머리를 잘써서 한 포트에서 M.2 NVME. U.2 NVME, SATA, SAS(별도의 콘트롤러가 있는경우) 를 모두 사용할 수 있게 되어 있더군요. Flexbay 라는 옵션으로 DELL에서는 나오는데, NVME로 출고하지 않음 이후에 파트를 변경하는 것은 굉장히 많은 돈이 들더군요.

7920T의 경우도 마찬가지로 알고 있습니다. 개별 부속의 수급은 매우 어렵더군요. 이베이를 뒤져도 안나오더라구요.

이빠빠 2019-10

추후에는 R7920을 들일까 생각중이었는데 5820T에서 지원한다면 7920에서도 지원할 것 같네요.
지금 당장은 아니고 아마 몇개월은 더 있어야 가능하지 않을까 생각 됩니다.

여러해 전에 한번 뵙고 못 뵈었군요.^^