쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
서버 끄는 일정 조정이 안 되서 테스트를 못 하고 있다가, 생각나서 질문 드립니다.
현재 사용 서버가 Dell PowerEdge 시리즈인데 ( R740, R750, R650 )
혹시 여기에 일반 PC 용 SSD 사용 가능할까요?
목적은, 서버의 LOCAL DISK 를 추가하려는 거고요.
DELL 정품 기업용 NVMe SAS 디스크를 사면 비싸니까, 저걸로 대체할 수 있는지 알아보려는 겁니다.
1. 서버의 저장장치가, Dell Unity 480 모델이 있습니다.
2. 사내 데이터는 모두 Dell Unity 에 저장중입니다.
3. DELL R650 R750 등을 연산 전용 서버로 사용중입니다.
4. 처음에는 연산 전용 서버에는 Local Disk 가 OS 영역 말고 없었는데
5. 10TB 정도의 저장 공간을 각 연산서버마다 달아주면,
6. 연산서버의 각 Simulation 결과 값을 UNITY 에 바로 쓰지 않고, 결과값(파일)을 로컬 HDD 에 쓴 다음 Unity 에 밀어넣으면
7. 속도향상 ( I/O 횟수 경감 )
을 구현하려고 합니다.
이를 위해, 저렴한 PC 용 저장장치를 서버에 추가하려고 하는 겁니다.
처음에는 Front panel 의 인터페이스가 U.2. SFF-8639 인 걸로 보여서, 알리에서
https://ko.aliexpress.com/item/*0**1**33*401.html
를 구매해서 테스트 해 봤는데, 의외로 iDRAC 에서 Physical Disk 인식이 안되더군요.
그래서 혹시나 해서 SSD 를 사서 붙여봤는데, 이건 인식이 잘 됩니다.
문제는, 인식은 되는데 RAID 로 안 묶입니다.
iDRAC ( = iDRAC 9 입니다. 비교적 최신버전 ) 에서 Physical DISK 는 잡히는데, 이걸 Guest OS 인 LINUX 에서 쓰려면 Virtual Disk 에서 RAID 로 묶어줘야 Guest OS 에서 보이고 DISK 로 mount 가 가능할 텐데, RAID 로 잡히지가 않네요.
Virtual DISK 메뉴에서 새로 Virtual DISK 로 생성하려고 해도, SSD 를 U.2. SFF-8639 에 직결한 DISK 가 RAID 로 잡히지가 않습니다.
아래는 추측입니다.
10. SSD 라도 DISK 가 정상 인식되는 걸 보면 RAID 로 안 묶일 이유가 없을거 같은데, 왜 안되는지 모르겠네요.
11. 현재 OS영역은, 이미 RAID 를 사용중입니다. = RAID 카드는 이미 있는겁니다.
12. 혹시 iDRAC 혹은 DELL Raid card 에서는 Virtual DISK 의 생성 가능 갯수가 두 개 밖에 안 되나? 더 생성 안 되나? 라는 생각도 들고요.
14. Dell 에서 서버를 만들 때 설마 RAID 를 Live로 변경할 수 없게 만든 건 아닐 거 같은데, 이것도 추측일 뿐입니다. 실제로 제가 테스트 해 본 건 아니니까요.
혹시, 위와 같이
21. DELL PowerEDGE R740, 750, 640, 650 등에서
22. 서버의 로컬 디스크를
23. 일반 PC용 SSD 혹은 일반 PC용 NVMe + U.2. SFF-8639 Adapter + RAID 구성
으로 사용해 보신 분이나, 사용했다는 이야기를 확인하신 있나요?
이상입니다. 즐거운 하루 되시기 바랍니다. 감사합니다.
이후 U.2 지원 가능하도록 케이블 까지 구성되어있다면 해당 슬롯에 U.2를 연결해주시면 되지만
단순 SATA/SAS 만 지원 하게끔 구성한것 같은데...
저렇게 품질이 낮은 것은 잘 않되요..
Evo도 힘든데 Qvo 라니요..
Pro급이나 되야 Raid 컨트롤러와 일할 수 있어요..
0. SSD 라도 DISK 가 정상 인식되는 걸 보면 RAID 로 안 묶일 이유가 없을거 같은데, 왜 안되는지 모르겠네요.
===> 서로 응답을 하고 주고 받는 것은 레이드 컨트롤러의 펌웨어와 SSD의 펌웨어가 통신하죠..
===> 여기서 제일 문제 입니다...
넌 싼 제품이지만.. 주인으로써 명하노라... 비싼놈보다 더 잘 해라.. 더 빠르고.. 더 수명이 길게 일하여라...........ㅜㅜ
.
.
DELL 서버의 정품 SATA SSD는 엔터프라이즈용 (기업용) 제품입니다..
일반 PC용 보다 수명이 몇 배는 깁니다..
일반PC용 SATA SSD를 DELL 서버에 설치했다고 해도 DELL 서버용 정품 SATA SSD보다는 수명이 짧아 금방 죽을 것입니다..
M.2 NVME 도 마찬가지입니다.. 그리고 M.2 NVME는 서버용 제품은 거의 없습니다..
더 생성 안 되나? 라는 생각도 들고요.
==> 싼 거는 2개만 됩니다... 비싼거는 많이 됩니다.
H2xx
H3xx
H7xx
H8xx
==> INTEL RST 소프트 레이드는 잡으면 윈도우는 인정 , 리눅스는 않인정
호스트의 PCIe 버스를 Guest VM에서 사용하려면 패스쓰루를 해 주셔야 할 것 같어요..VM에 PCIe를 배정해 주세요.
바이오스에서 가상화기술을 위한 여러가지 설정해 주세요..
CPU: VMX
PCIe : SR-IOV
VROC 키를 구입해서 설치
nvme 지원하는 Broadcom RAID 카드 구해서 설치
(DELL RAID 카드중에 지원하는 것이 있을 것임)
GPU를 이용한 nvme 전용 RAID 카드 설치
의 약 3가지 방법이 있으며 DELL 서버에서의 지원 여부는 메뉴얼이나 관련 파츠를 찾아보던지
DELL 쪽의 기술영업쪽의 지원을 받아야 할 겁니다..
상황에 따라 관련 케이블 파츠와 핫스압베이 키트도 구해야 하는데 아마 무슨 파츠를 구하면 되는지 알아도 그 파츠들을 쉽게 구하기 힘들 수도 있습니다.
제가 불분명하게 쓴 게 있어 보여서, 추가로 내용을 적습니다.
31. 구성이 가능하다면, 제품 자체는 PC 용 SSD 혹은 NVMe 는 PRO 제품 사용 예정입니다. PC 용 제품이 아무리 비싸도 기업용 제품보다는 싸니까요.
32. Guest OS 라고 해서 VM 을 운영하는 것 처럼 보이는데, VM을 운영하는 건 아니고, iDRAC 을 HOST OS 로 보고, 서버에 설치된 LINUX 를 GUEST OS 라고 표현한 겁니다. 실제로 VM 을 이용하지는 않습니다.
근본적으로, 연산용 서버에서 임시 DISK 로 쓸 영역을, 굳이 비싼 기업용 SAS 를 써야 하나... 라는 고민입니다.
기술적으로 일반 PC 용 SSD 혹은 NVMe 를 묶어 쓸 수 있냐 없냐와 별개로,
기업용 제품이 아닌 일반 PC 용 제품 사용으로 제품내구기한 이 안 맞아서 사용이 불가하다
라면, 못 쓰는게 맞다고 봅니다.
단지 이걸 측정해 본 적이 없고, 수명이 다 할 때 까지 써 본 적 또한 없습니다.
그냥 일반PC 용 SSD 쓰지 말고, 기업용 쓰는 게 정신건강에 좋을까요? 돈 아끼려다가 사고나면 오히려 돈이 더 드는게 맞기도 하니까요.
처음에는 당연히 되는 거라고 생각했는데, 답변 주신 내용들을 보니 괜히 안 되는걸 억지로 되게 하려는 것 같은 느낌이 드네요.
벤더마다 그들만의 호환성 리스트가 따로 있고,
실제로는 같은 제품인데 벤더별로 펌웨어만 다른 경우도 있습니다.
일반 컴퓨터용 NVME SSD가 랙마운트 서버에서도 제대로 동작할지는 테스트해보기 전엔 모릅니다.
제대로 동작 안될 가능성이 50% 이상이라고 봅니다.
그리고 벤더 서버나 벤더시스템의 호환성 개런티는 그 벤더 모델에서 사용가능하다고 컨펌난 그 벤더의 파츠만 됩니다..
설사 리테일 PC용 파츠를 사용해서 잘 동작했는데 문제가 생겼고 그 문제의 원인이 리테일 PC용 파츠 때문이라면 벤더쪽에서의 기술지원을 재대로 못 받을 수도
있습니다..
그리고 그보다 더 중요한 것은 그로 인해 망실된 데이터나 재대로 서비스를 운용하지 못한 것에 대한 피해가 더 클 것입니다..
현재 어느 벤더 시스템도 최신 기종일수록 리테일 파츠를 꼽았을때 재대로 동작 안하게 자기네들 파츠만 동작하게 만들어지는 경향이 있습니다..
도전하시는 것은 말리지 않지만 그로 인하여 피해를 입게 되면 모든게 그것을 진행한 사람의 책임이 되어 버립니다..
물론 책임을 질 수 있는 사장님이나 전산 소장님 같은 분이 그렇게 해라라고 한다면 그렇게 할 수 밖에 없겠죠..
벤더 파츠에서 OEM 검색해서 제조사 자체 제품으로 구매하니까 많이 저렴했습니다 (심한건 3~4배)
이런걸 해보면서 느낀 것은, 리테일 SSD는 절대로 업무용, 회사용에 사용하지 않겠다 였습니다.
samsung pro 라인업도 기껏해야 DWPD(수명)이 0.3~0.5 수준입니다
하이닉스에서 최하위 라인업 ssd S4610이 dwpd 3 수준이고
DC용 SSD인 S4620이 dwpd 5 수준입니다.
쓰기가 많은 작업이라면 무조건 Mixed use 디스크를 쓰셔야할텐데, 개인적으로는 리테일보다 2배가랑 비싸지만, 차라리 벤더 파츠 OEM 부품을 따로 구하시는게 좋다고 생각합니다.
관련해서 많이 찾아볼 때, DELL EMC 로 나오는것은 하이닉스랑 삼성이 많았던 것 같아요.
제 깜냥으로는 다루기 좋지 않은 조합으로 판단되어 포기 예정입니다.
그냥 비싼 돈 내고 사라고 해야 겠습니다. 역시 문제 해결은 더 많은 돈이 최고죠.
이상입니다. 즐거운 하루 되시기 바랍니다.
SFF만 되는줄로 알고 있고
https://www.storagereview.com/ko/review/dell-emc-poweredge-r740xd-nvme-server-review
https://www.youtube.com/watch?app=desktop&v=C6wQ9DfW1nk
1카드당 최대 4개까지 묶을수있구요. 3개까지 장착해서 12Bay full u.2 nvme 구성은 되는줄로 압니다만 4개단위 소프트웨어 레이드입니다. 하드웨어 레이드 아닙니다.
생각보다 퍼포먼스 안나옵니다.
https://es.auction.co.kr/shop/itm/DELL-POWEREDGE-R740xd-24B-SERVER-SSD-U-2-NVMe-PCIe-EXTENDER-CARD-1YGFW-KIT/126212325823
요런거 구매하심 됩니다.
1YGFW kit 이라고 하네요 (파츠번호는 v2, v3 버전이 있는것 같긴한데 v3는 흔치 않은듯..)
카드는 r740,r640,r940 호환이 되는 1YGFW,(MPN CDC7W, 1YGFW, 235NK) 이고 판매자에 따라 파츠넘 기재 다른듯
케이블은 카드의 위치에 따라 다른것 같습니다.
9TPCT,
95K27
Y30J5
W6N4M
XW06Y
XN9T2
7M5Y6
M89H1(가운데로 추정)
4JW8N
M2D68(정면으로 바라봤을때 가장왼쪽 파워위 위치시 케이블 추정) ,
0YPT8(이건 용도를 모르겠음)
750,760쓰시면 h755n 레이드 카드로 묶으시면 카드당 디스크 8개까지 묶고 퍼포먼스 좀 나온다고 들었습니다.
데모장비로 봤을땐 cpu 빨 좀 타야 퍼포먼스 나왔습니다. fio테스트 같은건.. 실사용에선 크게 의미없는듯하구요. 그냥 대역폭 어느정도다 정도만?
델 랙타입 에서는 7920 같은 4u 말고는 아직 m.2 nvme 레이드는 못봤습니다. (최대 4개까지 묶을수있다곤 들었지만 구경해본적 없어요)
u.2 / u.3 만 봤습니다.
m.2 는 부팅용으로만 쓸수있는것 같은데
https://www.storagereview.com/ko/review/dell-emc-poweredge-r740xd-server-review
여기 사진에서 보면 2개가 꽂혀잇는데 2개를 레이드로 부팅용으로 쓸수는 있는것 같습니다만 2개에 대한 레이드1또는0 만 지원하지 않나 싶어요.(안써봤음)
중국발 u.2 to m.2 안쓰시는걸 권해드립니다. 인식 안될때가 가끔있습니다. 가정용pc 면 모를까 서버에서는... 이만줄입니다 ㅎ