박문형 2023-11

저 보드에 대한 PCIe 레인 블럭 다이어 그램이 있어야 합니다..

NVME M.2 /U.2 는 PCIe 레인을 보통 4개 사용합니다.. (PCIe 4x)

8개의 NVME M.2를 사용하고 싶다면 4 x 8 해서 32개의 PCIe 레인이 필요합니다..

그런데 현재까지 나온 PC의 인텔이던 AMD던 CPU 나 보드에서 32개의 PCIe 레인이 나오지가 않습니다..

그래서 개인적인 생각에는 거의 불가능하다고 생각됩니다..

아마 찾아보시면 PC보드 중에 M.2 를 재일 많이 꼽을수 있는 보드가 6개가 최대일 겁니다..

ASUS의 무슨 모델일텐데 악세사리까지 다 동원해야 했던 것으로 기억합니다..

나스좋군 2023-11

ASUS ROG STRIX Z790-A GAMING WIFI II 인텍앤컴퍼니

상세 스펙
인텔(소켓1700) / 인텔 Z790 / ATX (30.5x24.4cm) / 전원부: 16+1+2페이즈 / 페이즈당70A / Vcore출력합계: 1120A /
메모리 DDR5 / 8000MHz (PC5-64000) / 4개 / 메모리 용량: 최대 192GB / XMP /
확장슬롯 VGA 연결: PCIe5.0 x16 / PCIe버전: PCIe5.0, PCIe4.0, PCIe3.0 / PCIex16: 1개 / PCIex16(at x4): 1개 / PCIex1: 1개 /
저장장치 M.2: 5개 / SATA3: 4개 / M.2 연결: PCIe4.0, NVMe, SATA /

인텔꺼로 찾긴했는데 기본지원 5개네요.
AS센터에서 그래픽 카드 빼고 확장카드 연결하면 인식은 잘될꺼라고 말씀하시는데
호환성 등 문제가 있어서 확답은 못해준다고 합니다.ㅠㅠ

박문형 2023-11

https://prod.danawa.com/info/?pcode=29981321&cate=11345282

에즈락에 6개짜리가 존재하긴 하네요..

https://prod.danawa.com/info/?pcode=13147263&cate=1131249

https://prod.danawa.com/info/?pcode=13154493&cate=1131249

AMD CPU 베이스는 5개가 최대인 듯한데 몇가지 모델들이 보이네요..

나스좋군 2023-11

네 감사합니다.
저장장치 때문에 cpu 교체를 고민중이라니..ㅠㅠ

쭝2짱 2023-11

저보드가 PCIE X16 -> X4X4X4X4 레인분배가된다면..
ASUS Hyper M.2 X16 Gen 4 요런거 카드하나달고...
소프트웨어 레이드는 될듯싶네요

나스좋군 2023-11

네 그렇게 하려고 하는데..
대역폭, 레인수.. 이런것들 제약 있다고 해서
확신이 안되네요.ㅠㅠ

piloteer 2023-11

저도 박문형님 말씀처럼 레인수가 제약이 될 것 같습니다. CPU 자체 레인수가 아마 24개인가 그럴 겁니다.

CPU랑 메인보드 레인을 섞으면 딱 32개 나올 것 같긴 한데, 레이드에 두 종류의 PCI-e 컨트롤러를 섞는 건 설령 가능하다고 해도 그다지 좋은 발상은 아닐 것 같습니다. 안정적으로 될지도 의심스러운데 동작한다고 해도 레이턴시가 이상해져서 오히려 성능이 깎일 수도 있습니다.

나스좋군 2023-11

네. 우선 4~5개로 가닥을 잡아야 겠네요.

박문형 2023-11

https://www.areca.com.tw/products/nvme-1686-nod.html

https://www.highpoint-tech.com/

링크된 두 제조사에서 M.2 를 사용한 레이드 솔류션이 있기는 합니다만 국내에는 아직 판매하고 있지 않습니다..

나스좋군 2023-11

매번 답변 잘해주시고 정말 감사합니다.

암굴왕 2023-11

연결만 하는거면 PCIe 스위칭 확장카드 사용하시면 됩니다
브로드컴 PEX8748(9) 쓰는 제품이 보통 32레인까지 연결가능해요
대신 레이드는 ㅎㅎ;;

나스좋군 2023-11

네 현재 상황에서 속도 보장되는 슬롯에 실사용으로 연결하고 확장카드는 복구용으로 연결해보려고 합니다.
AS센터에 연락해보니 성능이 보장되는 경우는
대략 인텔은 6개, AMD는 5개네요.
나머진 테스트를 안해봐서 모른다고 하고.
AMD 써보려고 했던건데 인텔로 넘어가야 하나 고민 중 입니다.ㅠㅠ

제온프로 2023-11

Dell R7525 에는 (PCIe 4.0 x 256 레인)
24 NVMe 가 있습니다.
24개 Native로 연결되어 있습니다...
Dell은 다 생각이 있죠..
이 대역폭을 다 쓰려면.. 100G Ethernet을 15개 정도 연결해야 되요..
7000MB x 24 (Raid5) = 160GB /sec
이런걸 구현하고 싶으신 거죠 ??

박문형 2023-11

재대로 하실려면 PC급에서는 안되고 서버나 워크스테이션급으로 가야 합니다..

PCIe 는 돈입니다..

나스좋군 2023-11

혹시 추천할만한 메인보드 있을까요?
예산은 200만원이하로 잡고 있습니다.

piloteer 2023-11

메인보드보다는 CPU가 문제일 겁니다. 제온이나 쓰레드리퍼급으로 가셔야 CPU에서 레인이 충분히 나옵니다. 그 급이면 메인보드는 아마 쉽게 찾으실 수 있을 겁니다. (x16 두 개 이상 CPU에 직결해주고 bifurcation 되는 보드 아무거나 찾으셔서 bifurcation하시면 될 듯 합니다.)

중고나 미사용품 (재고)이여야 가격 맞추기가 수월하겠는데... 최저가 위주로 잘 맞춰보시는 것도..

박문형 2023-11

글쎄요..

서버나 워크스테이션에서 PCIe 레인이 풍부한 시스템은 제온 스케일러블 이상 AMD EPYC 이상은 되어야 하고

M.2는 서버에서는 잘 사용하지 않습니다 재대로 하려면 U.2로 가야 합니다..

그래서 2U에 2.5인치 U.2 24aby 시스템들이 존재하기는 합니다만 새것 가격은 장난이 아닙니다..

이런 시스템은 벤더 서버에서 찾아 보면 되고 열 마니 나는 U.2에 맞추어 시스템을 설계한 것이라 조립보다는 낫습니다..

물론 조립쪽도 슈퍼마이크로 베어본이 있기는 합니다..


PCIe 레인(16x 슬롯)이 많은 보드로는 쓰레드 리퍼 프로나 많지는 않지만 인텔 스케일러블 제온 시스템에서 찾을 수는 있지만

보드들이 4x4x4x4 의 기능을 마더보드 슬롯에서 재대로 지원하는지부터 확인해야 합니다..

그렇게 되면 M.2 4개를 꼽는 카드나 U.2 4개를 꼽는 카드를 여러장 사용해서 확장이 가능합니다..

문제는 그렇게 했을때 발생하는 전기 사용량 문제와 열 발생문제를 어떻게 해결하느냐는 것이죠..

나스좋군 2023-11

고민이 더 많아지는군요^^
원래 고성능 서버구축이 목표였어서
서버 쪽으로도 알아봐야겠네요.
감사합니다.

dateno1 2023-11

8개 병목 없을려면 스레빠라도 가셔야 합니다

16을 4+4+4+4로 한다음 다시 4배속 남은거 물려도 5개입니다

이제 나머지 슬롯은 죄다 4배속인 버스를 공유해서 쓰므로 병목에서 멀어질 수 없는 상태가 됩니다

나스좋군 2023-11

네 생각대로 잘 되지 않네요.
단순히 많이 늘릴 생각이었는데 걸림돌이.

박문형 2023-11

https://prod.danawa.com/info/?pcode=13562387&keyword=asus+pro+ws&cate=112751

국내에서는 쓰레드리퍼 프로 보드는 거의 ASUS 제품으로 대동 단결입니다..

몇종류 있으니 어디까지 어떻게 지원하는지 잘 알아봐야 합니다..

그 외 쓰레드리퍼 CPU는 가격이 끔찍합니다..

쿨러 구하는 것도 좀 만만하지 않고요..

sbg2005 2023-11

SSD 제외하고 시스템 구성만 최소 500은 들이실 생각 하셔야 합니다.

나스좋군 2023-11

제가 처음부터 좀 쉽게 본 거 같습니다.^^

박문형 2023-11

제가 적어둔 2U 24베이 U.2 시스템은 벤더 서버로 하면 최소 천만원 이상에서 몇천만원까지 갈 수도 있습니다..

개인으로는 무리인 장비라는 것은 알고 있고요..

그리고 인텔서버/워크스테이션 보드만  NVME를 레이드로 묶을수 잇는 VROC 라는 기능이 있습니다..

(보드도 VROC 지원해야 하지만 상황에 맞는 VROC 키를 별도로 구매해야 합니다..)

바이오스에서 셋팅하는 소프트웨어 레이드 이고 리눅스까지 동작합니다..

AMD는 NVME에 대해 레이드 기능자체가 없어서 OS의 소프트레이드를 사용해야 합니다..

그 외는 NVME를 지원하는 레이드 카드 영역입니다..

흑기사 2023-11

라이젠은 cpu 자체 pcie 레인이 24개 -> 외장그래픽용 16 + nvme 4 + 칩셋 4 로 구성.
외장그래픽 16을 4+4+4+4로 분리시키고 칩셋쪽 추가 1개까지 하면 최대 6개까지 병목 없이 사용가능.
그 이상은 병목 감수하고 nvme 여러개 꽂는 확장카드를 달거나,  64~72레인 나오는 스레드리퍼로 가야죠. nvme 확장카드도 비싸고, 스레드리퍼 시스템을 구성한다면 라이젠 시스템의 3~4배 이상에 전기료도 많이 나올겁니다.

죠슈아 2023-11

NVME 8개 레이드0  구성 목적이 속도 향상 인가요?
NVME 8개 합쳐진 용량 때문에 레이드0  구성 하려고 하는 것인가요?

전자 이면 .. 속도 향상이 없지는 않지만 SSD에서 중요한 4K 랜덤 엑세스 속도는 레이드 0  와 단일 SSD에서 거의 차이가 없습니다.
순차 엑세스는 확실히 증가 하지만 4개에서 포화되어 더 이상 증가 하지 않습니다. 그리고 순차 속도는 광고성 수치이지 실 사용에서는 크게 의미는 없습니다.

후자 이면 2TB가 최대인 M.2 NVME 를 여러개 결합된 큰 용량의 SSD을 만드느 것보다 U.2 SSD 30.72TB , 15.32 TB를 선택하시는 것이 더 나은 선택 입니다.

ASUS ROG STRIX Z790-A  M.2 지원 갯수는 5개 아니고 4개 입니다.
1개는 CPU PCIE이지만  나머지는 Z790 chipset  PCIE 이므로 chipset 의 병목이 발생 됩니다.