icy dock 에서 nvme 8bay 를 이용해서 32bay nvme 구축을 알아보고 있습니다.
밴더는 동사양으로 구축하려니 너무 비싸기도 하고..
부팅시간도 오래걸리고 뭐 그래서
일반 보급형 웍스 보드(IPMI지원) + 일반 ATX리던던트파워 등 이용해서
업글시 보드사양만 바꿔주면서 좀 운영할 서버를 구축중인 상황입니다.
nvme 2tb x 32bay 를 해야하긴한데 8bay만 우선 raid6 으로 차츰 증가시킬 계획을 가지고있습니다.
제가 검색어를 잘못 검색한건지 포트는 mini sas 또는 oculink 케이블인데
이걸 지원하는 8채널 이상의 핫스왑 지원 레이드카드가 보이질 않네요.
혹시 경험있으신분 있으실까요?
그리고 qnap에서 h2490fu 라는 모델이었던것 같은데 u.2 24베이 제품이었습니다.
그런데 cpu가 싱글이고 코어가 8이었나 16이었나.. AMD CPU였던걸로 기억합니다.
암튼 질문이.. bay당 32gb/s 라고 치고 24베이면.. cpu가 1개로 대역폭 감당이 되나요..?
하드웨어레이드가 아닌 소프트웨어 레이드방식의 베어본일텐데 이게 가능한것인지 궁금합니다.
OS에서 소프트적으로 구성해야됩니다.
알리에 널렸어요. 단 레이드 콘트롤러는 아님(없음)
NVME를 쓸게 아니라 12G SSD를 16채널짜리 두개 꼽으면 32bay가 되겠네요. 아마 후자가 구성하기 쉬울겁니다. 고속으로 갈수록 소프트레이드로 구성해야지 하드웨어 레이드로는 콘트롤러 열만 쳐받을거고 하드웨어로 구성했다고 한들 소프트웨어보다 더 빠르거나 안정적이진 않을겁니다.
아 nvme 4개를 레이드 묶어주는건 본적있어서 되는줄 알았습니다. 그것도 소프트웨어 레이드인가보네요 (하드웨어 레이드를 확인한적은 없었습니다)
NVMe = PCIe x4
그러므로 4 x 32 = PCIe 128 Lanes 가 필요한데..
지원하는 시스템이 있을까요?
이런경우는 PCIe x16 배속 4개 정도 신호를 넣어 주고 그 Bus를
공유하여 NVMe 인클루져와 통신하는게 맞겠죠.
가격이 무척 비쌀겁니다.
세계에서 지금 개발중일 것인데요.. 조금만 기다리면 나올 겁니다.
현재 가장 가능성 있는 시스템이
AMD EPYC Dual 시스템입니다.
128 PCIe Lanes x 2CPU = 256 PCIe Lanes 나오죠..
고민해 보시기 바랍니다.
입출력 컨트롤러도 필요한데.. 감당이 될지..
아 그럼 위에 qnap h2490fu 가 AMD EPYC 16core single CPU 라 128lane 인가보네요.
https://www.storagereview.com/review/qnap-ts-h2490fu-review
리뷰보니 레이턴시 문제가 좀 있나봅니다.
나온게 있기는 한데 아마 아직 판매가 안될 것입니다..
케이블이랑 핫플러깅 베이 같은게 아마 아직 재대로 안되어 있을 것입니다..
2U 24bay 서버중에 NVME 올 플래쉬 모델들이 있는데 이것들은 U.2에서 나오는 모든 PCIe 레인을 서버 CPU에 연결한 것이며
보드에 있는 소프트웨어 레이드로 묶은 것입니다.. 인텔에서는 VORC라고 하는데 이게 하드웨어 제약이 많습니다..
네 아직 제대로 나온게 없어보이더라구요.
밴더로 구매하려면 베어본만 기본 1500만 이상해서 최대한 가지고있는 시스템 활용해서 부품 구매해다 하려했는데 가성비 따져서 밴더로 구매해야할지 많이 고민되네요
이렇게 하더라도 PCI-E 레인은 48개가 필요하고, 서버 CPU가 필요합니다.
그게 아니면 JBOF 박스를 산 뒤 HBA에 연결해야 하는데, 이건 또 원래 목표와 맞지 않는 솔루션이 되네요.
결론적으로 서버용 CPU 사용은 필수불가결하며, 베이 수를 줄이고 적당히 타협하거나 아니면 PCI-E 스위치가 탑재된 JBOF 박스를 알아봐야 합니다.
아이스레이크 듀얼 CPU를 탑재한 벤더 시스템의 경우에는 이론상 최대 32베이까지의 NVMe 지원이 가능할 것입니다.
네 9980xe cpu인데 lane이 딸려서 결국 2cpu 이상으로 하지 않으면 안되겠네요.
아직은 밴더말고는 답이 없어보여서 좀 기다려봐야겠습니다.
어떤 용도로 사용하시려는 것인지 모르겠는데요.
커다란 용량을 필요로 한다면 용량 큰 SSD를 선택하여 갯수를 줄이는 것이 낫겠고요.
엄청난 4k read/write iops가 필요한 것이라면 성능이 좋은 SSD를 선택하여 갯수를 줄이는 것이 좋겠고요. m.2는 성능 좋은 u.2에 비해 많이 떨어집니다. 같은 u.2 중에도 5-6배 이상 차이가 나기도 합니다.
raid 5나 raid 6를 사용한다면 4k write 속도는 single SSD에 비해 별로 나은 것이 없습니다. 4k write iops를 올리려면 raid 0이나 raid 10을 사용해야 합니다.
nvme ssd의 경우 소프트웨어 raid가 대부분입니다. raid0, raid1, raid10의 경우 소프트웨어 raid 성능이 오히려 낫습니다. 단 소프트웨어 raid는 raid 5, 6 쓰기 속도가 무척 구립니다.
bifurcation을 사용하여 nvme 여러개를 연결하려면 x16 슬롯 하나로 x4 nvme 4개를 감당할 수 있으므로 x16 슬롯 6개가 필요하겠네요.
x4 4port 짜리 x16 retimer 카드가 수퍼마이크로에서 나와 팔리고 있습니다. eBay에서 쉽게 구할 수 있죠. 이런 것 6개가 필요
switch로는 수퍼마이크로에서 나온 AOC-SLG3-8E2P를 구할 수 있습니다. x16 슬롯 하나에 x4 nvme 8개를 달 수 있는 카드입니다. 이런 것 3개가 필요하겠네요.
switch 사용시 문제는 x4 8개를 붙여도 대역폭이 x16으로 제한된다는 점입니다. 그러나 random의 경우에는 ssd 자체의 능력이 대역폭을 다 채우지 못하는 경우가 많으므로 크게 손해보지는 않을 것입니다. 설마 optane ssd 24개를 연결한다는 뜻은 아니겠지요? switch를 사용하면 latency가 증가하는 문제가 있는데, 큰 문제는 아닙니다. latency가 200~300 나노세컨드(0.2~0.3 마이크로 세컨드) 정도 증가하는데, ssd 자체의 latency가 이보다 훨씬 크기 때문입니다. 좋은 것들도 read 85 마이크로세컨드, write 15 마이크로세컨드 정도이니 별문제는 안될 것입니다.
하여간 우선은 성능 좋고 용량 큰 ssd를 선택하여 갯수를 줄이는 것이 나을 듯 합니다.
아 그리고 icydock 제품을 사용하시려면 가급적 oculink를 사용하는 것을 고르시기 바랍니다. sff-8643 사용하는 icydock 제품은 문제가 있는 것 같습니다. 케이블 호환성 문제 때문인 것으로 알려져 있지만 제품 자체에 문제가 있는 것 같아요. oculink host에서 icydock sff-8643으로 연결하는데 있어서 제가 알기에는 이 케이블 저 케이블 돈 들여서 실험해 보았지만 성공한 사람이 한명도 없습니다.(제가 해 본 것이 아니라 여러 사람들의 경험담)
icydock 홈페이지에는 oculink를 사용하는 dock들이 나와 있는데, 아직 시판은 안되고 있는 것 같습니다. sff-8643을 사용하는 4bay u.2 dock은 eBay에서 하나에 100달러, 2개 이상 75달러에 나와 있습니다. 반 값도 안되는 가격인데 물량정리인 모양입니다.
그냥 사다 끼워서 빨리 세팅해야지 했는데 제 생각과 좀 달라서 고민이 많이 되는 상황이네요
qnap 제품의 경우 레이턴시가 240 나노세컨드 정도 발생한다고 되어있던데 말씀하신 상황인가봅니다. 처음에 ms 인줄알았는데 다시 보니 나노세컨드네요.
드래곤볼 모으기로 부품 모아다 기존 r740 베어본 남는거에다 해보려고 보니 dell 01YGFW 와 같은 레이드카드로 어느정도 해결은 될것 같은데 샷시 프론트도 세로 2.4베이로 바꿔줘야하고.. 암튼 24베이 + 후면 4bay로 28bay 가 한계인것 같습니다.
구매하려고 했던 레이드카드는 아래 제품입니다.
http://www.raidmall.com/shop/shopdetail.html?branduid=2536275&xcode=002&mcode=005&scode=001&type=X&sort=manual&cur_code=002005&GfDT=bm95W1w%3D
http://www.raidmall.com/shop/shopdetail.html?branduid=2536291&xcode=002&mcode=005&scode=002&type=X&sort=manual&cur_code=002005&GfDT=Z2d3Uw%3D%3D
차이는 PCIe 3.0 지원이냐 4.0 지원이냐, port 형태가 sff-8643이냐 x8 oculink냐
수퍼마이크로에서도 비슷한 제품이 나오고 있습니다.
High Point 제품은 카드 외에 raid 소프트웨어도 같이 제공되는데, 썩 훌륭한 결과를 보여주지는 못하더군요. 그냥 HBA로 사용하면서 소프트웨어 raid를 사용하는 편이 성능상으로 나을 겁니다.
이것은 상술에 의한 착각입니다.
개인들은 가격에 민감하기 때문에..
저렴한 TLC로 구성하고..비싼 D-Ram 캐쉬를 제거하고.. 또 가장 저렴한 컨트롤러로 구성하여
저렴하게 판매하려고 합니다.
보면 마치 .. 오! TLC SSD가 그냥 SSD 가격이고 하드 가격도 접근하고 있구나 ...... 라고 착각을 하게 됩니다.
물론 앞으로 결국은 그렇게 되겠지만요..
잘못 구성하면 하드 보다 느린 TLC SSD nvme를 만나게 됩니다.
TLC 저렴이들은 SSD와 가각차이가 나지 않지요..
구성되면 많은 문제에 봉착하게 됩니다.
서버나 고급 장비를 위해 만들어진 기기들이 아니어서.. 기술 대응을 하지 못하기도 합니다.
PCIe 고속 bus를 사용하기 때문에 지원하는 장비들 역시..
빠르니까 비싸겠지요...
예로 들자면..
Raid 같은 고급기능은 970 Pro 가 980 pro 보다 좋게 봅니다..
980 pro는 TLC 아닌가요??
현재 시장에는 하드보다 느린 QLC NVMe 가 있습니다.
그런데 하드보다 느리다는 부분에 있어서는 제가 아직 그런 개념은 없네요^^;
u.2도 이번에 처음 써보려고 하는것이긴한데 2가지를 사용해보려고 합니다. 하나는 intel ssd 형 u.2 고 하나는 m.2 형 ssd 인데 u.2 변환 유닛에 넣어서 bay에 넣으려고 합니다. (제가 제대로 설명하는건가 모르겠네요)
둘다 SSD가 32Gb/s를 다 뽑아내주진 못하니 그냥 이론상 속도라는건지..
연결하는 케이블 mini sas (SFF 8643) 이 12Gb/s 대역폭으로 알고 있는데 검색해보니 32Gb/s 소리도 있고 잘 모르겠네요..