술이 2022-12

SSD 계열은 소프트레이드를 사용하는게...
그리고 h730p 콘트롤러는 nvme를 지원할리가 없을거 같은데요...
대부분의 풀SSD 스토리지들이 콘트롤러 카드를 사용하지 않고 HBA를 사용합니다.
730p 콘트롤러는 디스크만 꼽아도 2G 넘게 나오는 제품입니다.

홀릭0o0 2022-12

네ㅜㅜ  h730p는 nvme지원하지 않는데 gy1td 라는 확장카드 사용하니 nvme 4개를 지원합니다.
문제는 소프트웨어 레이드로 하려니 제가 사용할줄을 모릅니다.
OS설치하는 디스크부터 레이드가 되어야하는데 OS설치후 레이드를 하면 OS를 제외한 디스크들만 묶이지 않나요?
답변 감사합니다

song05 2022-12

https://www.2cpu.co.kr/bmt/2423?&sfl=wr_name%2C1&stx=song05&sop=and
참고하세요.
저의 ID 검색하시면 여러개 나옵니다
BMT

홀릭0o0 2022-12

아... 희망이 생기는 댓글입니다. 감사합니다.
되긴 되나보네요.. 혹시 레이드는 h730 에서 구성하신 것인지요?

박문형 2022-12

SSD 24개가 다이랙트로 730P 콘트롤러에 붙을 것 같지 않고 (다이랙트로 붙일려면 24CH 레이드 카드가 필요 케이블도 그만큼 필요)

SSD를 붙인 백플레인이 SAS EXPANDER 같아 보이는데

SAS 백플레인이 6G 인지 12G 인지는 모르겠지만 레이트 콘트롤러와 백플레인사이에 연결된 체널 갯수 정도의 대역폭 속도가 나올 듯합니다..

홀릭0o0 2022-12

SAS백플레인은 NVME Extender 입니다. 여기에 연결된 NVME SSD를 뽑았더니 속도가 더 나오고 붙이면 속도가 더 안나오고 그렇네요.ㅜㅜ 그냥 이해가 안가는 상태입니다.

박문형 2022-12

u.2 nvme 하드웨어 레이드 지원하는 모델도 좀 알고싶습니다. IO속도가 중요해서요

==> 어제 밤 질문에 적어 놓았습니다..

https://www.broadcom.com/products/storage/raid-controllers/tab-12gb-nvme

다음과 같은 LSI 카드들이 NVME 가 지원되지만 맞는 케이블 구하기가 많이 어렵습니다..

국내에 거의 보이지도 않고요..

홀릭0o0 2022-12

아.. Dell 샷시 모델에 대한 질문이었습니다. dell 에서 U.2 full 24bay 지원하는건 옵션에 있는데 nvme 레이드 까지 지원하는지 여부를 몰라서 질의드린 부분입니다.
늘 답변 감사합니다.

제온프로 2022-12

1.5GB x 8 = 12Gbps
대역폭 양껏 나오는 것 같아요..

야 이쯤되면 SAS 12G도 한계가 보이네요..
이제야 말로 NVMe 의 시대가 오네요.

제온프로 2022-12

Dell Ultra speed Quad NVMe 카드가 NVMe x 4EA
12000/10000 정도 나오니
이놈을 다시 SoftRaid 0  로 묶으면 24000/20000 나온다 치면.

초당 3GB 전송 가능하고.. 네트워크는 40G 로 하면 되것어요..
ZFS 의 실력이 나올때네요.

ZFS 이라면 가능할 것 같습니다.
Dell Ultra speed Quad NVMe  - 4 장을 설치하고.. 16개 M.2 로 풀무장 후에..
RAID0 나 RAID5로 묶어 보세요.. 볼만 하겠네요..
6GB/s 가 나오던가 4.5GB/s 가 나오던가..




최근에 집중하셔서 아시것지만..
Raid NVMe는 최신의 기술입니다.
R730 은 무리죠. 벌써 4~5년 전의 기술인 것이죠.
2022년의 기술을 찾으세요.
지금 나오고 있을 것입니다.

Broadcom 과 Adaptec 에서 나오것죠. 이미 나왔거나.

홀릭0o0 2022-12

우선 시스템을 잘 몰랐고.. 하위 시스템에서 소프트웨어 레이드가 nvme u.2 24bay 지원하는것을 보고 막연하게 생각했네요..
h730p가 약간 pci 같은 폼팩터에 꽂혀있길래 고속통신인가보다..하고.. ㅜㅜ.. Dell 에서도 12G가처리량은 아니라는 답변도 있었고해서 될거라 생각을 했네요..

1. 24bay 가 1bay당 12G x raid 10 에서 반이니 12baysl 12bay*12 = 144G 에서 lane 의 대역폭 제한을 받을것이라 생각..
2. h730p 가 hd sas 2개를 잡아먹고 있길래 64G 정도선은 나오지 않을까 생각했습니다.
3. nvme extend card를 장착하면 뭔가 pci의 버프를 더 받아서 16x 인 64G를 더 받아서 128G 정도 나오는것인가 하고 상상..
4. AMD에픽 cpu가 u.2 nvme 24bay를 소프트웨어 레이드로 묶어서 엄청난 대역폭이 나오는것을 2년전에 경험하여서 위 1,2,3이 가능할것이라 생각했습니다 ㅜㅜ

제온프로 2022-12

Epyc서버 (메인보드) 모델이 뭐 였나요 ?

홀릭0o0 2022-12

아. 보드명은 모르지만 해당 샷시는 Qnap의 ts-h2490fu 였습니다.

송주환 2022-12

1. NVMe RAID는 GRAID/VROC로 양분되어 있습니다. 아니면 SDS를 쓰거나요
2. ZFS는 오버헤드가 커서 성능이 안 나옵니다. 최근에는 일부 연산을 오프로딩하는 방향으로 연구가 진행중입니다. 차라리 btrfs를 쓰세요
3. 종래의 하드웨어 레이드 카드는 nvme 구성에 적합하지 않습니다. HBA는 모든 리퀘스트에 추가적인 레이턴시를 더합니다

결론적으로 돈을 더 쓰면 해결되는 문제입니다.

간장게장 2022-12

GRAID 외에 이런 것도 있네요.

https://pliops.com/

https://www.storagereview.com/review/maximize-nvme-ssds-with-the-pliops-extreme-data-processor-xdp

GRAID는 processor로 GPU를 사용하기는 하지만 전통적인 RAID에 해당하는데, Pliops XDP는 RAID와는 다른 것이지만 비슷한 목적을 가진 것이니 넓은 의미의 RAID류라고 보아도 될 것 같습니다. 이런 제품이 만약 성공을 거둔다면 QLC SSD가 활성화 되고, NVMe SSD의 콘트롤러 부분이 좀 더 단순화되면서 복잡한 일은 이런 제품에 떠넘기게 되지 않을까 상상해 봅니다.

자세히 검토해 보지는 않았지만 성능도 GRAID에 비해 못하지 않은 것 같습니다.(양쪽에서 제시하는 수치는 조건이 다른 것이라서요. SSD 갯수 차이 등)

송주환 2022-12

KV DB Accelerator인데 RAID 기능도 제공하는 물건이네요. 스토리지 기능은 GRAID 대비 부족하지만, 늘 그래왔듯이 양쪽 방향으로 수렴 진화가 일어나지 않을까 싶습니다. 그리고 시장이 더 많이 채택하는 물건이 살아남겠죠.
재미있는 점은 Computational Storage로 인해 SSD 컨트롤러의 복잡성도 점점 증가하고 있다는 것인데, 최종적인 승자는 과연 어느 진영이 될지 궁금하네요.
개인적으로는 GRAID-like + Computational Storage가 되지 않을까 싶어요.

또리군 2022-12

DELL기준 Nvme 하드웨어 레이드를 사용하실려면 H755N 컨트롤러를 사용하셔야 되고
R750 계열 nvme 24bay 백플레인 + H755N 레이드카드 2개 조합으로 구성이 가능합니다.

홀릭0o0 2022-12

해당 구성으로 알아봐야겠습니다. 755n 이 개당 145만원이네요.
감사합니다.

간장게장 2022-12

조금 이해가 가지 않습니다.
지금 r730xd 2.5인치 24bay 구성은 NVMe extender card와 H730P SAS raid card가 연결된 상태로
bay : 0-19 (20개) 12g SAS/6g SATA
bay : 20-23(4개) U.2 NVMe
이렇게 되어 있는 것으로 보입니다.

860 pro SATA SSD를 RAID 10으로 묶는다고 해도 20개 까지 할 수 있습니다.(bay 0- bay19) 24개를 raid 10으로 묶었다는 것이 이해가 가지 않습니다. bay 20-23의 4개는 U.2 NVMe용이니까요. 20개를 raid 10으로 묶는다면 19-23 4개의 bay에 U.2 NVMe를 넣고 빼고는 아무 상관이 없어야 합니다.

만약 SATA SSD 20개를 raid 10으로 묶는다면 순차 읽기 쓰기 속도는 하나 당 500MB/sec로 잡을 때
읽기 : 500MB/sec * 20 = 10,000MB/sec
쓰기 : 500MB/sec * 10 = 5,000MB/sec
이렇게 나와야 하는데, H730P가 PCIe 3.0 x8 카드이므로 PCIe 대역폭의 제한을 받아
읽기 : 6,400MB/sec
쓰기 : 5,000MB/sec
대략 이런 정도를 기대할 수 있습니다.

* 혹시 24개를 raid 10으로 묶었다가 4개를 빼서 degraded 상태가 되어 정상적인 속도가 나오지 않는 것 아닐까요?

홀릭0o0 2022-12

제가 글을 쓰면서 좀 잘못적었나봅니다. 20개를 레이드10 으로 한게 맞습니다.
처음에는 후면부 realflexbay 2개까지 더해서 0~19번과 24,25 하여 총 22개를 레이드10으로 구성
나머지 20~23 4개는 nvme 장착 했는데 속도가 안나와서 (500~600MB/s)
nvme를 빼고 24,25 도 레이드0으로 독립으로 묶어주고 0~19만 레이드10 으로 했습니다.
nvme 디스크를 장착시에는 속도 변화가 거의 없다가 nvme를 빼니까 1.5GB/s 정도 나옵니다.

H730P 는 pci 타입이 아닌 mini 입니다.
디그레이드상태는 아닙니다.

저도 속도가 그정도 나올줄로 기대했는데 안나와서 멘붕입니다 ㅜㅜ

박문형 2022-12

https://www.reddit.com/r/servers/comments/kh775b/dell_r730xd_nvme_u2_ssds/

https://www.reddit.com/r/homelab/comments/bp2nqr/nvme_enablement_kit_installed_on_the_r730xd/

https://www.reddit.com/r/homelabsales/comments/mfptuy/fsusga_dell_r630r730xd_nvme_kit_2x_samsung_pm983/

https://www.ebay.co.uk/itm/164332814211

r730xd nvme backplane 으로 검색해본 결과

U.2 NVME 4개는 0P31H2 PCIe card 와 HD miniSAS 케이블을 통해 보드와 연결이 되고

나머지 20개의 SAS HDD 는 SAS EXPANDER 를 통해 4개의 HD MiniSAS 커넥터로 나갑니다..

검색한 결과로는 NVME 동작과 SAS HDD 동작은 완전 독립적으로 동작한다고 보여지는데

NVME 4개는 나중에 생각하고 RAID 콘트롤러와 SAS EXPANDER와 연결된 HD MiniSAS 커넥터 4개는 어떻게 연결이 되어 있나요??

만일 구할 수 있다면 저 백플레인의 상세 메뉴얼이 필요해 보입니다..

간장게장 2022-12

raid 풀고 각각을 단일 디스크로 잡아 속도가 나오는지 테스트 해 보시지요.
여기서 문제가 없다면 4개쯤 raid 10으로 잡아 테스트를 해 보아 속도가 나오는지 검토해 보시는 것도 문제 파악에 도움이 될 것 같습니다.
파워 케이블이나 H730P에서 SAS expander로 가는 선도 점검해 보시고요.

홀릭0o0 2022-12

20개 860pro로 레이드0으로 하나 레이드10 으로 하나 속도가 같던데 혹시 대역폭 제한이 있진 않은지요?
제가 안나온다는 속도측정은 실제 1G용량 파일 쓰기 테스트 기준입니다. 단순히 BMT측정치는 아닙니다.

박문형 2022-12

SASBACKPLANE 과 730P 사이에 HDminiSAS 케이블 2개로 연결이 되어 있으면  스팩상은 12G SAS 8ea 의 대역폭이 존재하고

SATA SSD를 연결하였기에 6G SAS 8ea의 대역폭으로 연결되었다고 봐야 할 것입니다..

제거 좀 의심스러운 것은 860Pro SSD와 DELL BACKPLANE의 호환성입니다..