먼1200; 1665;에 1080;lj16; AMD 보드(B650e)와 PCIe ǥ16;0176; 카드를 1060;용해서 6개(4개 ǥ16;0176;카드 + 2개 메1064;보드)1032; NVME 를 사용한 unraid 서버를 만들Ǻ12; 봤습니다.
(고수님들1060;라 더 1096; 아시,192;1648;만, Unraid 를 선택한 1060;유를 간단7176; 말씀 드리면, NVME 1032; ᅆ1;우 단1068;/196;도 10기가 1060;상1032; 속도를 낼수 1080;Ǻ12;서 RAID 를 사용Ȣ16;1648; 않아도.104;고, 추후 디스크 확1109;1060; 간편Ȣ16;며, parity 설1221; 또한 간단해서 디스크 오류에 대한 문1228; 해결1060; 1312;금1008; 간단했습니다.  
그리고 소규모 사무실1032; 단순 파1068;서버 1060;기에 투1088; 비용과 1204;송속도를 1473;요시 했습니다.(SMB가 1452;1060;고, ISCSI 도 사용합니다)
테스트 기기에lj16; mellanox 10기가 SFP 랜카드를 붙여서 사용했고, 라우터lj16; TP 링크 BE95 스위치lj16; TP링크 SFP 8개 1648;원 1228;품1012; 사용했습니다.
3대1032; 클라1060;Ǻ16;트 PC 상에서 약 7-9기가 1221;도1032; 속도/196; 1204;송1060; 가능했1004;며 추후 총 5대1032; 클라1060;Ǻ16;트 PC 를 사용할 예1221;1077;니다.
1060; 테스트를 ᅆ1;험삼아 NVME 를 16개를 가1648;고 서버를 만들/140;고 합니다. (NVME 4개 ǥ16;0176;카드 4개를 1060;용, Parity 용 2TB SSD 2개 사용)
가1109; 1473;요한 PCIE bifurcation  1060; 1648;원.104;lj16; 1473;고 서버를 찾아야 .112; ,163; 같아서 1204;문가ǥ16;들께 문1032;를 드립니다.
(1060;곳 판매란에 1333;1333; 올라오lj16; 1200;/156;한 Dell 1473;고 서버를 눈여겨 보고 1080;습니다. T7810, 7910 መ1;) 
구상Ȣ16;lj16; ,163;1008; Dell T7910 1060; PCIE x16 를 7개를 가1648;고 1080;고 ǥ16;0176;기능1012; 1648;원Ȣ16;기에 4개를 PCIe ǥ16;0176;카드를 연결해 NVME 16개 설치Ȣ16;고, 그래픽 출/141;용1004;/196; 1개, 10기가 Lan 1개를 사용Ȣ16;면 .112; ,163; 같습니다. (총6개) 생각1008; 1060;러한데 실1228; 1060;/111;,172; 구성Ȣ16;lj16; ,163;에 문1228;lj16; 없1012;까요?
그리고 ,145;1221;.104;lj16; ,163;1008; NVME 설치를 위한 ǥ16;0176;카드를 알리1061;스프/112;스 같1008; 곳에서 파lj16; 1068;0152; 1228;품들도 1109;착해서 사용할 수 1080;lj16;1648; 아니면 Dell 1064;1613; 1228;품(Dell Ultra 4x M.2 NVMe SSDs to x16 PCIe Adapter Card 80G5N 6N9RH TX9JH) 1012; 사용해야만 Ȣ16;lj16; 1648; 모르,192;습니다. (Dell 1228;품1008; 1473;고라도 꽤 큰 가ᅄ1;1060; 1648;불.104;Ǻ12;야 해서요)
마1648;ኔ1;1004;/196; Dell 서버가 아니더라도 1200;/156;Ȣ16;면서 위에 구상한데/196; 충ǥ16;한 PCIe 슬ǘ15;1012; 가1652; 1200;/156;한 1473;고 서버 1228;품1012; 추천 ǥ12;ᓠ1;드/140;봅니다.
(.104;도/197; 소비1204;/141;1060; 1201;1004;면 더 1339;,192;습니다.)
최소한1032; 금액1004;/196; 만들Ǻ12;야 Ȣ16;기에 1204;문가님들1032; 1312;Ǻ16;1012; 듣고 구매 시행Ȣ16;/140;고 Ȣ16;니 도움 ǥ12;ᓠ1;드립니다.
T7910 보드 상단 2개 슬롯이 16배속이라, 이론상으로는 8개 붙힐수 있고, 하단 16배속 2개중 1개는 NVME 슬롯을 끼울수 있으니, 총 12개의 데이타 SSd를 설치하고, OS를 구동할 슬롯은 1불짜리 사서, 4배속에 끼울수 있겠네요..
정리하면, 알리표 11불짜리로 레이드 가능하고, 2din의 GPU를 설치시는 1개의 OS NVMe SSD와, 12개(4×3)의 NVMe SSD를 설치할수 있고,
1Din짜리 GPU를 설치할시는 총 13개의 m.2 SSD를 추가할수 있구요^^
아 그리고 pcie bifercation은 메인보드 칩셋에서 지원하는것이라,, X99 칩셋을 단 보드에서는 모두 지원하는걸로 뒜었고, 그 이전 X79보드에서는 모두 안되었습니다.. (5810, 7810, 7910은 모두 직접 해보았습니다.) X99이후 보드는 아직 못해봤구요^^
PC보드는 PCIe 레인의 갯수 제약이 있습니다..
서버/워크스테이션 보드는 PCIe레인은 보통 어느 정도 풍부하지만 가격이 PC보드보다는 비쌉니다..
지금 말씀하시는 NVME 솔류션들은 다 PCIe 의 기술들입니다..
PCIe 의 GEN 이 높을수록 고속으로 동작할 수 있는 확률이 높아져서 좋지만 그만큼 가격이 올라갑니다..
또한 고속 동작인 만큼 알지 못하는 문제점도 나올수 있습니다..
NVME M.2 /U.2 제품이 나오기 시작한 것은 PCIe GEN 3.0 이상 부터입니다..
T7810, 7910 이 시스템들은 워크스테이션이라 온보드 VGA가 없는 경우가 많습니다..
따라서 GPU카드 1개를 꼽을수 있는 PCIe 16x 슬롯외에 PCIe bifurcation 이 지원되는 PCIe 16x 슬롯이 4개 있어야 합니다..
어떤 보드나 시스템이 PCIe bifurcation 을 지원하느냐는 경험밖에 없습니다..
(메뉴얼보고 확인할 수도 있지만 바이오스나 펌웨어 바뀌면 바뀔수 있기에 실물 만져봐야 재대로 알 수 있습니다..)
개인적으로 M.2 는 개인 PC용인지라 사용시 수명이 생각하는 것보다 짧을수 있습니다..
DELL 이나 HPE 같은 벤더 제품에서는 리테일 부품을 사용하는 것을 용납하지 않는데 그것은 우선 호환성 보장이 되지 않기 때문입니다..
그리고 원하시는 M.2 아답터도 시스템이 벤더사 것이냐 아니냐에 따라 달라질수 밖에 없습니다..
비싸도 호환성에 문제가 없는 것을 고를수 밖에 없습니다..
호환성 문제가 생기면 본인이 그것을 해결할수 있는 능력이 되던지 아니면 다른 호환성이 있는 제품을 다시 구매하는 정도가 다입니다..
그리고 아답터 카드를 여러개 꼽기 때문에 실제로 그렇게 꼽아보고 부하테스트도 해보고 데이터가 깨지는지 안깨지는지도 테스트 해봐야
어느 정도 사용상에 문제가 있는지 없는지 알수 있습니다..
제조사에서 호환성 검증이 된 부품이라도 여러개 꼽으면 재대로 동작 못하는 경우가 있습니다..
그것은 그 제조사가 그 부품을 한개내지 2개만 테스트 하고 여러개 설치해서 동작시키는 것을 생각하지 못하였을 경우 입니다..
그 외에는 제조사에서 아답터의 갯수를 제한하여 호환성 여부를 정하는 경우가 있을수 있습니다..
개인적으로는 U.2를 좋아라 합니다만 U.2로 구축하기 위해서는 시스템 전체가 U.2를 지원하기 위해 설계되어 있지 않으면 사용하기 골치만 아프다라는
생각을 가지고 있습니다..
마지막으로 U.2던 M.2던 열을 재대로 빼주지 못하면 쓰로틀링이 걸려 답이 없습니다..
Lane 을 확보하기 위해서 서버 CPU 를 구매하는 것이라 고민이 많습니다.
M.2 제품들의 수명에 대해서도 심사 숙고 해보겠습니다.
https://www.apexstoragedesign.com/
아마도 발표된 제품 중에서 재일 M.2를 많이 설치 가능한 제품일 것입니다..
자금만 넉넉하다면 일반 시스탬에서 바로 적용이 가능한 제품이네요.
장기적인 면에서 보면 시스탬 유지 관리보다 간단할 수 있기에 가장 저렴할 수도 있을 것 같구요.
21 베이보단 24년도에 출시될 16베이 제품을 검토해보겠습니다.
아직은 하드웨어레이드에서는 8개의 드라이브 이상 1그룹으로 묶어주는 레이드카드가 벤더사에서는 없는것 같습니다.
dell r760 에서도 h755n 도 8개까지 HW raid지원.. 소프트레이드만 보셔야해요. OS단에서 처리됩니다.
조언에 감사드립니다.
결국 자기의 선택이죠 ^^
쉽지 않은 문제 입니다.
PCIe 3.0 4배속 x 16개
= 64 Lane 필요합니다.
제온 2600 V4 cpu가 PCie 각 48 레인 씩을 지원하니 2개에 96레인입니다.
그리고 4개의 PCIe 3.0 16배속이 4개에 모두 Bifurcation (4x4x4x4) 을 설정할 수 있어야 하고요.
메뉴얼에는 내용이 나오지 않네요.
중국 데이터 센터발 중고가 엄청 저렴합니다.
7742 두개 정도 포함해서 $5000 언더였던거 같습니다.
모든 슬롯 pci-e 4.0 cpu 직결에 Bifurcation 지원합니다.
참고로 서버던 보드+cpu셋이던간에 epyc 계열 구입하실때는 cpu랑 보드는 무조건 세트로 구입하시는게 좋습니다.
아니면 cpu 자체가 밴더락이 안 걸린 제품을 구입하셔야 하는데.....
Gigabyte는 논외로 치고 Tyan 이나 supermicro 제품과 같이 제공된 cpu는 밴더락이 안 걸려있던것 같습니다.
참고로 위의 3개사가 아닌 밴더 서버 보드에 밴더락 안 걸린 cpu 꼽으면 cpu내부 퓨즈 터지면서 바로 해당 cpu는 락 걸린다고 보시면 됩니다.