NVMe(Non-Volatile Memory Express) SSD는 태생부터가
PCI Express 인터페이스로 연결된 장치기반이라서 PCIe 대역폭을 생각하지 않을 수 없습니다.
gpu 카드 확장하는거라 이론적으로는 비슷합니다.
gpu카드를 하나의 시스템에 연결해서 사용하는데에는 제약이 있듯이
nvme ssd 기반도 한계가 있습니다. gpu도 수평적 확장으로 분산클러스터로 구축하는 모양새입니다.
Broadcom 기준 주로 raid 카드에서는 max 32정도로 nvme 개수를 스펙으로 규정하고 있습니다.
일부 스토리지 업체에서는 레이드엔진이 있어서 그걸로 자체적으로 한번묶고 그걸
FC나 NVMeOF RDMA 로 뽑는 방식인데 확장은 HD-MiniSAS 기반인데 이게 SAS 인클로저 확장일 가능성이 높습니다.
Re-timer 카드 연결 방식으로 연결되거면 몇백개까지 확장하는건
메인 컨트롤러 시스템의 pci대역폭 한계가 있어서 쉽지 않은 부분입니다.
NVMe로 scale-up 적층해서 단일로 구성하는거는 개수 제약한계등 확장의 문제가 있습니다.
대부분이 scale-out 분산으로 해서 분산sw로 수평적으로 묶는방향으로 nvme는 구성하는 편입니다.
수직적 단일로 묶는 구성은 한계가 있긴합니다.
여러개 카드를 사용해서 혹을 다는 방법으로 늘리는것이 그나마 현재 해볼수 있는 시도입니다.
1대의 jbof에 그나마 zoning 쪼개서 여러호스트에 나눠주는 방식으로 제품 기능 마켓팅을 하는것 같습니다.
Re-timer 카드 칩도 broadcom에서 만들기는 하는데 대만업체들이 가져다가 카드는 만들기는 하는것 같더군요.
시스템 보드에 따라서 호환성 맞추는게 좀 까탈스러운 부분이 있는것 같습니다.
**Re-Timer Card(리타이머 카드)**는 고속 신호의 무결성을 유지하기 위해 사용되는 하드웨어 장치입니다.
PCIe(Peripheral Component Interconnect Express) 또는 NVMe(Non-Volatile Memory Express) 환경에서
데이터 신호가 길거나 여러 커넥터를 거칠 때 신호 품질이 저하되는 문제를 해결하는 역할
JBOD (Just a Bunch Of Disks)
JBOF (Just a Bunch Of Flash)
FBOF (Fabric-attached Bunch Of Flash)
SAS SSD 기반 JBOF는 굴러다니는것들이 많아서 찾아보시면 구하실수는 있습니다.
NVMe SSD 기반을 SAS or PCIe로 땡기는 JBOF는 찾기도 어렵고 구한다해도 머리가 지끈거릴수 있습니다.
요즘은 머리 지끈거림때문에 FBOF 라는 용어로 쓰는것 같습니다.
DPU에 NVMe Target 올려서 네트워킹으로 땡기는 방식인데
요즘 이쪽으로 흔하게들 나오는데 슈마도 이쪽으로 신제품 출시예정인가보네요.
엔당과 너무 밀착이네요.
https://www.supermicro.com/en/products/jbof
어떤 구조로 되어 있고 몇단까지 최대 몇개까지 드라이브를 설치 가능한가가 중요 포인트입니다..
(몇백개급으로 쌓을수 있는 제조사는 하나 찾았습니다..이게 전용 레이드 엔진으로 연결말고 LSI Tri-MODE 카드로 연결이 가능한지는 모르겠습니다..)
대략 30~25년전에는 DAS 제품이 스토리지의 주요 제품이였고 네트워크는 속도나 안정성 솔류션등이 낮아서 별로였는데
(2000년도 초반때는 1G만사용해도 헉이였고 10G 사용하면 헉헉이였죠..그런데 그때도 넷앱이란 회사가 있었습니다..)
이더넷과 인피니벤드의 발전이 엄청나게 되어 이제는 스토리지 전송로를 이더넷이나 인피니벤드로 구성이 가능해지는 시대가 되어 버렸습니다..
Lsi try mode가 nvme 모드면 4개까지만 지원할겁니다
PCI Express 인터페이스로 연결된 장치기반이라서 PCIe 대역폭을 생각하지 않을 수 없습니다.
gpu 카드 확장하는거라 이론적으로는 비슷합니다.
gpu카드를 하나의 시스템에 연결해서 사용하는데에는 제약이 있듯이
nvme ssd 기반도 한계가 있습니다. gpu도 수평적 확장으로 분산클러스터로 구축하는 모양새입니다.
Broadcom 기준 주로 raid 카드에서는 max 32정도로 nvme 개수를 스펙으로 규정하고 있습니다.
일부 스토리지 업체에서는 레이드엔진이 있어서 그걸로 자체적으로 한번묶고 그걸
FC나 NVMeOF RDMA 로 뽑는 방식인데 확장은 HD-MiniSAS 기반인데 이게 SAS 인클로저 확장일 가능성이 높습니다.
Re-timer 카드 연결 방식으로 연결되거면 몇백개까지 확장하는건
메인 컨트롤러 시스템의 pci대역폭 한계가 있어서 쉽지 않은 부분입니다.
NVMe로 scale-up 적층해서 단일로 구성하는거는 개수 제약한계등 확장의 문제가 있습니다.
대부분이 scale-out 분산으로 해서 분산sw로 수평적으로 묶는방향으로 nvme는 구성하는 편입니다.
수직적 단일로 묶는 구성은 한계가 있긴합니다.
여러개 카드를 사용해서 혹을 다는 방법으로 늘리는것이 그나마 현재 해볼수 있는 시도입니다.
1대의 jbof에 그나마 zoning 쪼개서 여러호스트에 나눠주는 방식으로 제품 기능 마켓팅을 하는것 같습니다.
Re-timer 카드 칩도 broadcom에서 만들기는 하는데 대만업체들이 가져다가 카드는 만들기는 하는것 같더군요.
시스템 보드에 따라서 호환성 맞추는게 좀 까탈스러운 부분이 있는것 같습니다.
**Re-Timer Card(리타이머 카드)**는 고속 신호의 무결성을 유지하기 위해 사용되는 하드웨어 장치입니다.
PCIe(Peripheral Component Interconnect Express) 또는 NVMe(Non-Volatile Memory Express) 환경에서
데이터 신호가 길거나 여러 커넥터를 거칠 때 신호 품질이 저하되는 문제를 해결하는 역할