먼저 집에 있는 AMD 보드(B650e)와 PCIe 분배 카드를 이용해서 6개(4개 분배카드 + 2개 메인보드)의 NVME 를 사용한 unraid 서버를 만들어 봤습니다.
(고수님들이라 더 잘 아시겠지만, Unraid 를 선택한 이유를 간단히 말씀 드리면, NVME 의 경우 단일로도 10기가 이상의 속도를 낼수 있어서 RAID 를 사용하지 않아도되고, 추후 디스크 확장이 간편하며, parity 설정 또한 간단해서 디스크 오류에 대한 문제 해결이 조금은 간단했습니다.
그리고 소규모 사무실의 단순 파일서버 이기에 투자 비용과 전송속도를 중요시 했습니다.(SMB가 주이고, ISCSI 도 사용합니다)
테스트 기기에는 mellanox 10기가 SFP 랜카드를 붙여서 사용했고, 라우터는 TP 링크 BE95 스위치는 TP링크 SFP 8개 지원 제품을 사용했습니다.
3대의 클라이언트 PC 상에서 약 7-9기가 정도의 속도로 전송이 가능했으며 추후 총 5대의 클라이언트 PC 를 사용할 예정입니다.
이 테스트를 경험삼아 NVME 를 16개를 가지고 서버를 만들려고 합니다. (NVME 4개 분배카드 4개를 이용, Parity 용 2TB SSD 2개 사용)
가장 중요한 PCIE bifurcation 이 지원되는 중고 서버를 찾아야 될 것 같아서 전문가분들께 문의를 드립니다.
(이곳 판매란에 종종 올라오는 저렴한 Dell 중고 서버를 눈여겨 보고 있습니다. T7810, 7910 등)
구상하는 것은 Dell T7910 이 PCIE x16 를 7개를 가지고 있고 분배기능을 지원하기에 4개를 PCIe 분배카드를 연결해 NVME 16개 설치하고, 그래픽 출력용으로 1개, 10기가 Lan 1개를 사용하면 될 것 같습니다. (총6개) 생각은 이러한데 실제 이렇게 구성하는 것에 문제는 없을까요?
그리고 걱정되는 것은 NVME 설치를 위한 분배카드를 알리익스프레스 같은 곳에서 파는 일반 제품들도 장착해서 사용할 수 있는지 아니면 Dell 인증 제품(Dell Ultra 4x M.2 NVMe SSDs to x16 PCIe Adapter Card 80G5N 6N9RH TX9JH) 을 사용해야만 하는 지 모르겠습니다. (Dell 제품은 중고라도 꽤 큰 가격이 지불되어야 해서요)
마지막으로 Dell 서버가 아니더라도 저렴하면서 위에 구상한데로 충분한 PCIe 슬롯을 가진 저렴한 중고 서버 제품을 추천 부탁드려봅니다.
(되도록 소비전력이 적으면 더 좋겠습니다.)
최소한의 금액으로 만들어야 하기에 전문가님들의 조언을 듣고 구매 시행하려고 하니 도움 부탁드립니다.
T7910 보드 상단 2개 슬롯이 16배속이라, 이론상으로는 8개 붙힐수 있고, 하단 16배속 2개중 1개는 NVME 슬롯을 끼울수 있으니, 총 12개의 데이타 SSd를 설치하고, OS를 구동할 슬롯은 1불짜리 사서, 4배속에 끼울수 있겠네요..
정리하면, 알리표 11불짜리로 레이드 가능하고, 2din의 GPU를 설치시는 1개의 OS NVMe SSD와, 12개(4×3)의 NVMe SSD를 설치할수 있고,
1Din짜리 GPU를 설치할시는 총 13개의 m.2 SSD를 추가할수 있구요^^
아 그리고 pcie bifercation은 메인보드 칩셋에서 지원하는것이라,, X99 칩셋을 단 보드에서는 모두 지원하는걸로 뒜었고, 그 이전 X79보드에서는 모두 안되었습니다.. (5810, 7810, 7910은 모두 직접 해보았습니다.) X99이후 보드는 아직 못해봤구요^^
PC보드는 PCIe 레인의 갯수 제약이 있습니다..
서버/워크스테이션 보드는 PCIe레인은 보통 어느 정도 풍부하지만 가격이 PC보드보다는 비쌉니다..
지금 말씀하시는 NVME 솔류션들은 다 PCIe 의 기술들입니다..
PCIe 의 GEN 이 높을수록 고속으로 동작할 수 있는 확률이 높아져서 좋지만 그만큼 가격이 올라갑니다..
또한 고속 동작인 만큼 알지 못하는 문제점도 나올수 있습니다..
NVME M.2 /U.2 제품이 나오기 시작한 것은 PCIe GEN 3.0 이상 부터입니다..
T7810, 7910 이 시스템들은 워크스테이션이라 온보드 VGA가 없는 경우가 많습니다..
따라서 GPU카드 1개를 꼽을수 있는 PCIe 16x 슬롯외에 PCIe bifurcation 이 지원되는 PCIe 16x 슬롯이 4개 있어야 합니다..
어떤 보드나 시스템이 PCIe bifurcation 을 지원하느냐는 경험밖에 없습니다..
(메뉴얼보고 확인할 수도 있지만 바이오스나 펌웨어 바뀌면 바뀔수 있기에 실물 만져봐야 재대로 알 수 있습니다..)
개인적으로 M.2 는 개인 PC용인지라 사용시 수명이 생각하는 것보다 짧을수 있습니다..
DELL 이나 HPE 같은 벤더 제품에서는 리테일 부품을 사용하는 것을 용납하지 않는데 그것은 우선 호환성 보장이 되지 않기 때문입니다..
그리고 원하시는 M.2 아답터도 시스템이 벤더사 것이냐 아니냐에 따라 달라질수 밖에 없습니다..
비싸도 호환성에 문제가 없는 것을 고를수 밖에 없습니다..
호환성 문제가 생기면 본인이 그것을 해결할수 있는 능력이 되던지 아니면 다른 호환성이 있는 제품을 다시 구매하는 정도가 다입니다..
그리고 아답터 카드를 여러개 꼽기 때문에 실제로 그렇게 꼽아보고 부하테스트도 해보고 데이터가 깨지는지 안깨지는지도 테스트 해봐야
어느 정도 사용상에 문제가 있는지 없는지 알수 있습니다..
제조사에서 호환성 검증이 된 부품이라도 여러개 꼽으면 재대로 동작 못하는 경우가 있습니다..
그것은 그 제조사가 그 부품을 한개내지 2개만 테스트 하고 여러개 설치해서 동작시키는 것을 생각하지 못하였을 경우 입니다..
그 외에는 제조사에서 아답터의 갯수를 제한하여 호환성 여부를 정하는 경우가 있을수 있습니다..
개인적으로는 U.2를 좋아라 합니다만 U.2로 구축하기 위해서는 시스템 전체가 U.2를 지원하기 위해 설계되어 있지 않으면 사용하기 골치만 아프다라는
생각을 가지고 있습니다..
마지막으로 U.2던 M.2던 열을 재대로 빼주지 못하면 쓰로틀링이 걸려 답이 없습니다..
Lane 을 확보하기 위해서 서버 CPU 를 구매하는 것이라 고민이 많습니다.
M.2 제품들의 수명에 대해서도 심사 숙고 해보겠습니다.
https://www.apexstoragedesign.com/
아마도 발표된 제품 중에서 재일 M.2를 많이 설치 가능한 제품일 것입니다..
자금만 넉넉하다면 일반 시스탬에서 바로 적용이 가능한 제품이네요.
장기적인 면에서 보면 시스탬 유지 관리보다 간단할 수 있기에 가장 저렴할 수도 있을 것 같구요.
21 베이보단 24년도에 출시될 16베이 제품을 검토해보겠습니다.
아직은 하드웨어레이드에서는 8개의 드라이브 이상 1그룹으로 묶어주는 레이드카드가 벤더사에서는 없는것 같습니다.
dell r760 에서도 h755n 도 8개까지 HW raid지원.. 소프트레이드만 보셔야해요. OS단에서 처리됩니다.
조언에 감사드립니다.
결국 자기의 선택이죠 ^^
쉽지 않은 문제 입니다.
PCIe 3.0 4배속 x 16개
= 64 Lane 필요합니다.
제온 2600 V4 cpu가 PCie 각 48 레인 씩을 지원하니 2개에 96레인입니다.
그리고 4개의 PCIe 3.0 16배속이 4개에 모두 Bifurcation (4x4x4x4) 을 설정할 수 있어야 하고요.
메뉴얼에는 내용이 나오지 않네요.
중국 데이터 센터발 중고가 엄청 저렴합니다.
7742 두개 정도 포함해서 $5000 언더였던거 같습니다.
모든 슬롯 pci-e 4.0 cpu 직결에 Bifurcation 지원합니다.
참고로 서버던 보드+cpu셋이던간에 epyc 계열 구입하실때는 cpu랑 보드는 무조건 세트로 구입하시는게 좋습니다.
아니면 cpu 자체가 밴더락이 안 걸린 제품을 구입하셔야 하는데.....
Gigabyte는 논외로 치고 Tyan 이나 supermicro 제품과 같이 제공된 cpu는 밴더락이 안 걸려있던것 같습니다.
참고로 위의 3개사가 아닌 밴더 서버 보드에 밴더락 안 걸린 cpu 꼽으면 cpu내부 퓨즈 터지면서 바로 해당 cpu는 락 걸린다고 보시면 됩니다.