NVME 를 이용한 서버를 만들기 위해 중고 제품 조언 부탁드립니다

   조회 2915   추천 0    

먼저 집에 있는 AMD 보드(B650e)와 PCIe 분배 카드를 이용해서 6개(4개 분배카드 + 2개 메인보드)의 NVME 를 사용한 unraid 서버를 만들어 봤습니다.

(고수님들이라 더 잘 아시겠지만, Unraid 를 선택한 이유를 간단히 말씀 드리면, NVME 의 경우 단일로도 10기가 이상의 속도를 낼수 있어서 RAID 를 사용하지 않아도되고, 추후 디스크 확장이 간편하며, parity 설정 또한 간단해서 디스크 오류에 대한 문제 해결이 조금은 간단했습니다.  

그리고 소규모 사무실의 단순 파일서버 이기에 투자 비용 전송속도를 중요시 했습니다.(SMB가 주이고, ISCSI 도 사용합니다)

테스트 기기에는 mellanox 10기가 SFP 랜카드를 붙여서 사용했고, 라우터는 TP 링크 BE95 스위치는 TP링크 SFP 8개 지원 제품을 사용했습니다.

3대의 클라이언트 PC 상에서 약 7-9기가 정도의 속도로 전송이 가능했으며 추후 총 5대의 클라이언트 PC 를 사용할 예정입니다.


이 테스트를 경험삼아 NVME 를 16개를 가지고 서버를 만들려고 합니다. (NVME 4개 분배카드 4개를 이용, Parity 용 2TB SSD 2개 사용)

가장 중요한 PCIE bifurcation  이 지원되는 중고 서버를 찾아야 될 것 같아서 전문가분들께 문의를 드립니다.

(이곳 판매란에 종종 올라오는 저렴한 Dell 중고 서버를 눈여겨 보고 있습니다. T7810, 7910 등) 


구상하는 것은 Dell T7910 이 PCIE x16 를 7개를 가지고 있고 분배기능을 지원하기에 4개를 PCIe 분배카드를 연결해 NVME 16개 설치하고, 그래픽 출력용으로 1개, 10기가 Lan 1개를 사용하면 될 것 같습니다. (총6개) 생각은 이러한데 실제 이렇게 구성하는 것에 문제는 없을까요?

그리고 걱정되는 것은 NVME 설치를 위한 분배카드를 알리익스프레스 같은 곳에서 파는 일반 제품들도 장착해서 사용할 수 있는지 아니면 Dell 인증 제품(Dell Ultra 4x M.2 NVMe SSDs to x16 PCIe Adapter Card 80G5N 6N9RH TX9JH을 사용해야만 하는 지 모르겠습니다. (Dell 제품은 중고라도 꽤 큰 가격이 지불되어야 해서요)

마지막으로 Dell 서버가 아니더라도 저렴하면서 위에 구상한데로 충분한 PCIe 슬롯을 가진 저렴한 중고 서버 제품을 추천 부탁드려봅니다.

(되도록 소비전력이 적으면 더 좋겠습니다.)


최소한의 금액으로 만들어야 하기에 전문가님들의 조언을 듣고 구매 시행하려고 하니 도움 부탁드립니다.

짧은글 일수록 신중하게.
마로뉨 2023-12
알리에서 11불 짜리 2개로 2개(총 NVMe 4개)까지는 붙혀서 사용해 봤는데, 아무 문제 없이 작동했습니다,

T7910 보드 상단 2개 슬롯이 16배속이라, 이론상으로는 8개 붙힐수 있고, 하단 16배속 2개중 1개는 NVME 슬롯을 끼울수 있으니, 총 12개의 데이타 SSd를 설치하고, OS를 구동할 슬롯은 1불짜리 사서, 4배속에 끼울수 있겠네요..

정리하면, 알리표 11불짜리로 레이드 가능하고, 2din의 GPU를 설치시는 1개의 OS NVMe SSD와, 12개(4×3)의 NVMe SSD를 설치할수 있고,
1Din짜리 GPU를 설치할시는 총 13개의 m.2 SSD를 추가할수 있구요^^
     
태영파파 2023-12
꼭 필요한 정보 빨리 알려주셔서 감사합니다.
          
마로뉨 2023-12
7910은 PCie 슬롯에 84lane(16×4+ 8 + 8 + 4)정도 할당되서,, 제가 말씀드린건 모두 가능할거에요.. 
 아 그리고 pcie bifercation은 메인보드 칩셋에서 지원하는것이라,, X99 칩셋을 단 보드에서는 모두 지원하는걸로 뒜었고, 그 이전 X79보드에서는 모두 안되었습니다.. (5810, 7810, 7910은 모두 직접 해보았습니다.) X99이후 보드는 아직 못해봤구요^^
박문형 2023-12
PCIe 레인은 돈입니다..

PC보드는 PCIe 레인의 갯수 제약이 있습니다..

서버/워크스테이션 보드는 PCIe레인은 보통 어느 정도 풍부하지만 가격이 PC보드보다는 비쌉니다..

지금 말씀하시는 NVME 솔류션들은 다 PCIe 의 기술들입니다..

PCIe 의 GEN 이 높을수록 고속으로 동작할 수 있는 확률이 높아져서 좋지만 그만큼 가격이 올라갑니다..

또한 고속 동작인 만큼 알지 못하는 문제점도 나올수 있습니다..


NVME M.2 /U.2 제품이 나오기 시작한 것은 PCIe GEN 3.0 이상 부터입니다..


T7810, 7910  이 시스템들은 워크스테이션이라 온보드 VGA가 없는 경우가 많습니다..

따라서 GPU카드 1개를 꼽을수 있는 PCIe 16x 슬롯외에  PCIe bifurcation 이 지원되는 PCIe 16x 슬롯이 4개 있어야 합니다..

어떤 보드나 시스템이  PCIe bifurcation 을 지원하느냐는 경험밖에 없습니다..

(메뉴얼보고 확인할 수도 있지만 바이오스나 펌웨어 바뀌면 바뀔수 있기에 실물 만져봐야 재대로 알 수 있습니다..)


개인적으로 M.2 는 개인 PC용인지라 사용시 수명이 생각하는 것보다 짧을수 있습니다..

DELL 이나 HPE 같은 벤더 제품에서는 리테일 부품을 사용하는 것을 용납하지 않는데 그것은 우선 호환성 보장이 되지 않기 때문입니다..

그리고 원하시는 M.2 아답터도 시스템이 벤더사 것이냐 아니냐에 따라 달라질수 밖에 없습니다..

비싸도 호환성에 문제가 없는 것을 고를수 밖에 없습니다..

호환성 문제가 생기면 본인이 그것을 해결할수 있는 능력이 되던지 아니면 다른 호환성이 있는 제품을 다시 구매하는 정도가 다입니다..

그리고 아답터 카드를 여러개 꼽기 때문에 실제로 그렇게 꼽아보고 부하테스트도 해보고 데이터가 깨지는지 안깨지는지도 테스트 해봐야

어느 정도 사용상에 문제가 있는지 없는지 알수 있습니다..

제조사에서 호환성 검증이 된 부품이라도 여러개 꼽으면 재대로 동작 못하는 경우가 있습니다..

그것은 그 제조사가 그 부품을 한개내지 2개만 테스트 하고 여러개 설치해서 동작시키는 것을 생각하지 못하였을 경우 입니다..

그 외에는 제조사에서 아답터의 갯수를 제한하여 호환성 여부를 정하는 경우가 있을수 있습니다..


개인적으로는 U.2를 좋아라 합니다만 U.2로 구축하기 위해서는 시스템 전체가 U.2를 지원하기 위해 설계되어 있지 않으면 사용하기 골치만 아프다라는
 
생각을 가지고 있습니다..


마지막으로 U.2던 M.2던 열을 재대로 빼주지 못하면 쓰로틀링이 걸려 답이 없습니다..
     
태영파파 2023-12
시스탬 전반에 대해서 조언해 주셔서 감사합니다.
Lane 을 확보하기 위해서 서버 CPU 를 구매하는 것이라 고민이 많습니다.
M.2 제품들의 수명에 대해서도 심사 숙고 해보겠습니다.
막판대장 2023-12
박문형 2023-12
https://www.storagereview.com/ko/review/apex-storage-x21-review-the-roaring-twenty-ones

https://www.apexstoragedesign.com/

아마도 발표된 제품 중에서 재일 M.2를 많이 설치 가능한 제품일 것입니다..
     
태영파파 2023-12
최신의 정보 감사합니다.
자금만 넉넉하다면 일반 시스탬에서 바로 적용이 가능한 제품이네요.
 장기적인 면에서 보면 시스탬 유지 관리보다 간단할 수 있기에 가장 저렴할 수도 있을 것 같구요.
21 베이보단 24년도에 출시될 16베이 제품을 검토해보겠습니다.
홀릭0o0 2023-12
글쎄요.. 7910 수준에서 될련지.. r730기준에서도 4개도 대역폭 처리 못해서 io 100% 수준인데요
아직은 하드웨어레이드에서는 8개의 드라이브 이상 1그룹으로 묶어주는 레이드카드가 벤더사에서는 없는것 같습니다.
dell r760 에서도 h755n 도 8개까지 HW raid지원.. 소프트레이드만 보셔야해요. OS단에서 처리됩니다.
     
태영파파 2023-12
unraid OS 의 특징이 raid 를 사용하지 않습니다. 그래서 IO 입출력은 결국 NVME 1개의 속도에 한정이 되어 있어 추가적인 소모가 덜할 것이라는 기대로 선택을 하게 되었습니다.  테스트했던 시스탬의 CPU 는 라이젠 7600 이었는데, 단기 테스트에서는 IO 에 문제는 없어 보였습니다. 다만 클라이언트가 추가되고 로딩이 커지면 말씀하신 데로 문제가 될수도 있을 것 같습니다.
조언에 감사드립니다.
          
홀릭0o0 2023-12
글에 unraid 를 못봤네요. 그럼 더더욱 nvme 16개로는 대역폭 득보실게 없으실텐데 개별 드라이브로 사용하신다는 걸까요?
신뢰도 vs 가성비 ?

결국 자기의 선택이죠 ^^
제온프로 2023-12
T7910
쉽지 않은 문제 입니다.

PCIe 3.0 4배속  x 16개
= 64 Lane 필요합니다.
제온 2600 V4 cpu가 PCie 각 48 레인 씩을 지원하니 2개에 96레인입니다.
그리고 4개의 PCIe 3.0 16배속이 4개에 모두 Bifurcation (4x4x4x4) 을 설정할 수 있어야 하고요.

메뉴얼에는 내용이 나오지 않네요.
암굴왕 2023-12
에픽 2세대 지원하는 보드에 7D12 정도면 원하시는 사양 저렴하게 구성가능하지 싶네요
중국 데이터 센터발 중고가 엄청 저렴합니다.
중국발 H12DSi-N6 에 EPYC cpu 2개 구입하는게 가장 파워풀하고 저렴한듯합니다.
7742 두개 정도 포함해서 $5000 언더였던거 같습니다.
모든 슬롯 pci-e 4.0 cpu 직결에 Bifurcation 지원합니다.

참고로 서버던 보드+cpu셋이던간에 epyc 계열 구입하실때는 cpu랑 보드는 무조건 세트로 구입하시는게 좋습니다.
아니면 cpu 자체가 밴더락이 안 걸린 제품을 구입하셔야 하는데.....
Gigabyte는 논외로 치고 Tyan 이나 supermicro 제품과 같이 제공된 cpu는 밴더락이 안 걸려있던것 같습니다.
참고로 위의 3개사가 아닌 밴더 서버 보드에 밴더락 안 걸린 cpu 꼽으면 cpu내부 퓨즈 터지면서 바로 해당 cpu는 락 걸린다고 보시면 됩니다.


QnA
제목Page 808/5706
2015-12   1666535   백메가
2014-05   5131792   정은준1
2020-08   2838   룰루랄라
2021-01   2838   김제l김용환
2018-11   2838   늘파란
2015-07   2838   EYESSHOT
2019-03   2838   서버하거파
2020-08   2838   GPGPU
2019-08   2838   blueMango
2020-11   2838   무쏘뿔처럼
2020-05   2838   앱등이
2020-02   2838   페르세우스
2019-02   2838   뭐라카노
2020-05   2838   김민철GC
2022-09   2838   엠플
2021-09   2838   나우마크
2020-09   2838   타막
2021-09   2838   GPGPU
2021-01   2839   알수없는힘
2023-10   2839   뭐든팔아요
2019-08   2839   양명석
2020-03   2839   아기견저커