안녕하세요
r730xd 에 레이드10으로 삼성 860pro ssd 24개 묶었는데요.
nvme를 붙이면 최대 읽기 쓰기가 600MB/s를 넘지 못하고..
nvme를 빼면 1.5GB/s 정도 나오네요..
예상보다 속도가 너무 안나오는데 컨트롤러 최대대역폭이 문제일까요?
읽기기준 500MB/s * 12개 (레이드10이니 24개의반..) 해서 한 6GB/s 나와줄줄 알았는데 ㅎㅎ ..
r730xd 샷시에서 방법이있을까요?
u.2 nvme 하드웨어 레이드 지원하는 모델도 좀 알고싶습니다. IO속도가 중요해서요
그리고 h730p 콘트롤러는 nvme를 지원할리가 없을거 같은데요...
대부분의 풀SSD 스토리지들이 콘트롤러 카드를 사용하지 않고 HBA를 사용합니다.
730p 콘트롤러는 디스크만 꼽아도 2G 넘게 나오는 제품입니다.
문제는 소프트웨어 레이드로 하려니 제가 사용할줄을 모릅니다.
OS설치하는 디스크부터 레이드가 되어야하는데 OS설치후 레이드를 하면 OS를 제외한 디스크들만 묶이지 않나요?
답변 감사합니다
참고하세요.
저의 ID 검색하시면 여러개 나옵니다
BMT
되긴 되나보네요.. 혹시 레이드는 h730 에서 구성하신 것인지요?
SSD를 붙인 백플레인이 SAS EXPANDER 같아 보이는데
SAS 백플레인이 6G 인지 12G 인지는 모르겠지만 레이트 콘트롤러와 백플레인사이에 연결된 체널 갯수 정도의 대역폭 속도가 나올 듯합니다..
==> 어제 밤 질문에 적어 놓았습니다..
https://www.broadcom.com/products/storage/raid-controllers/tab-12gb-nvme
다음과 같은 LSI 카드들이 NVME 가 지원되지만 맞는 케이블 구하기가 많이 어렵습니다..
국내에 거의 보이지도 않고요..
늘 답변 감사합니다.
대역폭 양껏 나오는 것 같아요..
야 이쯤되면 SAS 12G도 한계가 보이네요..
이제야 말로 NVMe 의 시대가 오네요.
12000/10000 정도 나오니
이놈을 다시 SoftRaid 0 로 묶으면 24000/20000 나온다 치면.
초당 3GB 전송 가능하고.. 네트워크는 40G 로 하면 되것어요..
ZFS 의 실력이 나올때네요.
ZFS 이라면 가능할 것 같습니다.
Dell Ultra speed Quad NVMe - 4 장을 설치하고.. 16개 M.2 로 풀무장 후에..
RAID0 나 RAID5로 묶어 보세요.. 볼만 하겠네요..
6GB/s 가 나오던가 4.5GB/s 가 나오던가..
최근에 집중하셔서 아시것지만..
Raid NVMe는 최신의 기술입니다.
R730 은 무리죠. 벌써 4~5년 전의 기술인 것이죠.
2022년의 기술을 찾으세요.
지금 나오고 있을 것입니다.
Broadcom 과 Adaptec 에서 나오것죠. 이미 나왔거나.
h730p가 약간 pci 같은 폼팩터에 꽂혀있길래 고속통신인가보다..하고.. ㅜㅜ.. Dell 에서도 12G가처리량은 아니라는 답변도 있었고해서 될거라 생각을 했네요..
1. 24bay 가 1bay당 12G x raid 10 에서 반이니 12baysl 12bay*12 = 144G 에서 lane 의 대역폭 제한을 받을것이라 생각..
2. h730p 가 hd sas 2개를 잡아먹고 있길래 64G 정도선은 나오지 않을까 생각했습니다.
3. nvme extend card를 장착하면 뭔가 pci의 버프를 더 받아서 16x 인 64G를 더 받아서 128G 정도 나오는것인가 하고 상상..
4. AMD에픽 cpu가 u.2 nvme 24bay를 소프트웨어 레이드로 묶어서 엄청난 대역폭이 나오는것을 2년전에 경험하여서 위 1,2,3이 가능할것이라 생각했습니다 ㅜㅜ
2. ZFS는 오버헤드가 커서 성능이 안 나옵니다. 최근에는 일부 연산을 오프로딩하는 방향으로 연구가 진행중입니다. 차라리 btrfs를 쓰세요
3. 종래의 하드웨어 레이드 카드는 nvme 구성에 적합하지 않습니다. HBA는 모든 리퀘스트에 추가적인 레이턴시를 더합니다
결론적으로 돈을 더 쓰면 해결되는 문제입니다.
https://pliops.com/
https://www.storagereview.com/review/maximize-nvme-ssds-with-the-pliops-extreme-data-processor-xdp
GRAID는 processor로 GPU를 사용하기는 하지만 전통적인 RAID에 해당하는데, Pliops XDP는 RAID와는 다른 것이지만 비슷한 목적을 가진 것이니 넓은 의미의 RAID류라고 보아도 될 것 같습니다. 이런 제품이 만약 성공을 거둔다면 QLC SSD가 활성화 되고, NVMe SSD의 콘트롤러 부분이 좀 더 단순화되면서 복잡한 일은 이런 제품에 떠넘기게 되지 않을까 상상해 봅니다.
자세히 검토해 보지는 않았지만 성능도 GRAID에 비해 못하지 않은 것 같습니다.(양쪽에서 제시하는 수치는 조건이 다른 것이라서요. SSD 갯수 차이 등)
재미있는 점은 Computational Storage로 인해 SSD 컨트롤러의 복잡성도 점점 증가하고 있다는 것인데, 최종적인 승자는 과연 어느 진영이 될지 궁금하네요.
개인적으로는 GRAID-like + Computational Storage가 되지 않을까 싶어요.
R750 계열 nvme 24bay 백플레인 + H755N 레이드카드 2개 조합으로 구성이 가능합니다.
감사합니다.
지금 r730xd 2.5인치 24bay 구성은 NVMe extender card와 H730P SAS raid card가 연결된 상태로
bay : 0-19 (20개) 12g SAS/6g SATA
bay : 20-23(4개) U.2 NVMe
이렇게 되어 있는 것으로 보입니다.
860 pro SATA SSD를 RAID 10으로 묶는다고 해도 20개 까지 할 수 있습니다.(bay 0- bay19) 24개를 raid 10으로 묶었다는 것이 이해가 가지 않습니다. bay 20-23의 4개는 U.2 NVMe용이니까요. 20개를 raid 10으로 묶는다면 19-23 4개의 bay에 U.2 NVMe를 넣고 빼고는 아무 상관이 없어야 합니다.
만약 SATA SSD 20개를 raid 10으로 묶는다면 순차 읽기 쓰기 속도는 하나 당 500MB/sec로 잡을 때
읽기 : 500MB/sec * 20 = 10,000MB/sec
쓰기 : 500MB/sec * 10 = 5,000MB/sec
이렇게 나와야 하는데, H730P가 PCIe 3.0 x8 카드이므로 PCIe 대역폭의 제한을 받아
읽기 : 6,400MB/sec
쓰기 : 5,000MB/sec
대략 이런 정도를 기대할 수 있습니다.
* 혹시 24개를 raid 10으로 묶었다가 4개를 빼서 degraded 상태가 되어 정상적인 속도가 나오지 않는 것 아닐까요?
처음에는 후면부 realflexbay 2개까지 더해서 0~19번과 24,25 하여 총 22개를 레이드10으로 구성
나머지 20~23 4개는 nvme 장착 했는데 속도가 안나와서 (500~600MB/s)
nvme를 빼고 24,25 도 레이드0으로 독립으로 묶어주고 0~19만 레이드10 으로 했습니다.
nvme 디스크를 장착시에는 속도 변화가 거의 없다가 nvme를 빼니까 1.5GB/s 정도 나옵니다.
H730P 는 pci 타입이 아닌 mini 입니다.
디그레이드상태는 아닙니다.
저도 속도가 그정도 나올줄로 기대했는데 안나와서 멘붕입니다 ㅜㅜ
https://www.reddit.com/r/homelab/comments/bp2nqr/nvme_enablement_kit_installed_on_the_r730xd/
https://www.reddit.com/r/homelabsales/comments/mfptuy/fsusga_dell_r630r730xd_nvme_kit_2x_samsung_pm983/
https://www.ebay.co.uk/itm/164332814211
r730xd nvme backplane 으로 검색해본 결과
U.2 NVME 4개는 0P31H2 PCIe card 와 HD miniSAS 케이블을 통해 보드와 연결이 되고
나머지 20개의 SAS HDD 는 SAS EXPANDER 를 통해 4개의 HD MiniSAS 커넥터로 나갑니다..
검색한 결과로는 NVME 동작과 SAS HDD 동작은 완전 독립적으로 동작한다고 보여지는데
NVME 4개는 나중에 생각하고 RAID 콘트롤러와 SAS EXPANDER와 연결된 HD MiniSAS 커넥터 4개는 어떻게 연결이 되어 있나요??
만일 구할 수 있다면 저 백플레인의 상세 메뉴얼이 필요해 보입니다..
여기서 문제가 없다면 4개쯤 raid 10으로 잡아 테스트를 해 보아 속도가 나오는지 검토해 보시는 것도 문제 파악에 도움이 될 것 같습니다.
파워 케이블이나 H730P에서 SAS expander로 가는 선도 점검해 보시고요.
제가 안나온다는 속도측정은 실제 1G용량 파일 쓰기 테스트 기준입니다. 단순히 BMT측정치는 아닙니다.
SATA SSD를 연결하였기에 6G SAS 8ea의 대역폭으로 연결되었다고 봐야 할 것입니다..
제거 좀 의심스러운 것은 860Pro SSD와 DELL BACKPLANE의 호환성입니다..