박문형 2021-10

http://prod.danawa.com/info/?pcode=12809624

ASUS HYPER M.2 x16 Gen 4 CARD

http://prod.danawa.com/info/?pcode=6735169

ASUS HYPER M.2 X16 CARD V2

두 개의 카드는 다른 것으로 판단됩니다..

저 컨버터 카드가 특성을 많이 타는 것으로 대략 알고 있으며 호환되는 마더보드 모델을 따라줘야 하는 것으로 압니다..

네이쳐 2021-10

항상 답변 친절히 달아주셔서 감사합니다.

잘은 모르겠지만 Gen4 CARD가 더 최신 모델이 맞는거죠??
SSD 4개에 RAID 10으로 묶고 ubuntu를 설치하려고 며칠째 시도하는데, 처음이라서 아직도 해결을 못했습니다 ㅠ

궁금한게,
1. raid로 묶은 곳에 OS를 설치하는 것은 비추인가요?? 검색하다보니 그런말을 본거 같습니다.

2. 그리고
별도 SSD에 우분투를 설치한 뒤, 위의 4개로 raid 10으로 묶은걸 마운트해서 쓰는것과
raid 10으로 묶인 곳에 우분투를 설치한 뒤 쓰는것 중
이용자들이 서버에서 뭔가 계산하고 데이터를 저장하고 하는데 속도의 차이가 있나요??

박문형 2021-10

제품 문의는 제조사 AS 센터에 문의하시는 편이 좋아 보입니다..

OS 데이터 보호를 위해 레이드를 사용할 수 있습니다만

RAID 1은 많이들 사용합니다..
RAID 5는 비추천입니다.. 이유는 부팅데이터 부분이 여러 하드로 분리되어 꼬이면 부팅이 불가능합니다..

서버를 구축하는데 보통 OS영역과 DATA 영역을 구분합니다..

OS영역은 OS 및 응용프로그램이 들어가고

DATA 영역은 만들어진 DATA가 들어갑니다.. (예로 DB데이터나 동영상데이터나 그런 것들입니다..)

디스크가 문제가 있을때 운영을 멈추지 않고 데이터 손실을 막기위해 RAID 를 사용합니다..

보통 OS영역은 RAID 1을 DATA 영역은 DB 같이 빠른 복구가 필요한 경우 RAID 1+0 (RAID 10) 을 사용합니다..

DATA 영역에서 DATA가 아주 커지고 복구시 조금 속도가 느려도 상관이 없으면 RAID 5 나 RAID 6을 사용합니다..

그리고 장비를 끄지 않고 동작 중에 불량 디스크를 교체하기 위해 핫스왑 베이가 달린 시스템에 핫스압을 지원하는 디스크를 사용합니다..



윗 글은 SCSI DISK 때부터 내려오던 HDD 방식의 운영 방법입니다..

SAS/SATA SSD 까지는 대략 적용이 가능합니다.. (RAID 카드가 SSD를 완벽히 지원하는 경우)

박문형 2021-10

https://www.highpoint-tech.com/USA_new/main.htm

국내에는 아직 고객이 없어서 안보일텐데 NVME M.2를 여러개를 하나의 PCIe 카드에 설치하고 RAID로 묶는 제품은

저 하이포인트가 거의 원조급입니다..

국내 총판은 앤디코입니다..

네이쳐 2021-10

일단 ASUS에 문의는 해 놓고 기다리고 있는데, 원하는 답변이 없을것 같고...

결국 문형님께서 알려주신 하이포인트 제품을 고려하고 있습니다.
보니까 리눅스도 종류, 버전별로 드라이버를 잘 제공하고 있는거 같네요~

박문형 2021-10

ASUS HYPER M.2 x16 Gen4
SEAGATE 파이어쿠다 530 M.2 2280 NVMe 4TB x4개


보드에서 M.2 SSD 4개가 인식이 되나요??

인식이 된다면 무슨 방법으로 RAID를 묶나요??

그 RAID 묶는 방법이 윈도우즈만 지원하나요?? 리눅스도 지원하나요??

하는 방법이나 드라이버가 제공이 되나요??

네이쳐 2021-10

일단 BIOS에서 4개가 잘 인식되고, RAID 10으로 묶는거도 잘 되었습니다.

그런데 우분투 설치할 때, BIOS에서 묶은 raid 10 으로 인식되는게 아니라 4TB SDD 낱개로 인식이되서 떴습니다.

그래서,
우분투 설치할 때, 'TRY ubuntu' ?? 로 임시로 우분투를 띄우는거 같은데,
여기서 fdisk, mdadm 등으로  이것저것 따라해보고 있습니다.

그리고,
AMD 사이트에서 WRX80 에 해당하는 곳에 들어가보니까 (https://www.amd.com/en/support/chipsets/amd-socket-swrx8/wrx80),
windows10 에 AMD RAID installer (SATA, NVMe RAID) 가 제공되던데,
리눅스에 대한 파일은 없네요.
그래서 제대로 안되는건가요?

다나와에서 ASUS HYPER M.2 x16 Gen4 제품에 문의해보니,
BIOS에서 정상적으로 인식이 되었으면, Ubuntu에 문의하라고 하네요 ㅠ

박문형 2021-10

RAID 10을 묶는 것은 마더보드인가요?? 카드 펌웨어인가요??

1차적으로 리눅스 레이드 드라이버가 지원이 안되어서 그런 것입니다..

보드 AS센터나 ASUS 코리아 기술 담당에게 문의해보세요..

그리고 ASUS 본사 엔지니어 답변을 달라고 하세요.. (영어로 답변이 오겠죠..)

아마 답변은 서버나 워크스테이션이 아니여서 리눅스 지원을 못한다 아니면 지원 계획이 없다 라고 나올 것입니다..

그 외는 이런 이런 방법이 있다라고 답이 올 수도 있습니다..

네이쳐 2021-10

RAID 10을 묶는게....BIOS에서 설정을 했는데... 펌웨어?? 업데이트 그런건 안했습니다~

박문형 2021-10

그럼 ASUS HYPER 카드는 M.2를 마더보드 PCIe 에 연결만 해준다고 봐야 합니다..

보드 제조사에서 리눅스 레이드 드라이버를 제공해줘야죠...

박문형 2021-10

그 외에는 M.2 4개는 그냥 카드에서 RAID 묶지 말고 리눅스 소프트레이드를 리눅스 설치시에 사용하는 방법이 있는데

이것은 관리하기가 많이 불편할 수 있습니다..

네이쳐 2021-10

일단 묶어야 해서 말씀하신대로 소프트웨어 레이드로 해보려고 발악중입니다.

우분투 설치 임시모드?? 에서
4TB SDD 각각에 대해서 fdisk로
512MB EFI system
나머지 Linux raid를 나눴고

/dev/md1에는 4개SSD의 EFI 파티션
/dev/md2에는 4개SSD의 RAID 파티션을 묶으면 될까 하고 시도해보고 있습니다.
많이 답답하네요 ㅠ

그래도 문형님께서 많은 조언 해주셔서 큰 도움 되고 있습니다.
정말 감사드립니다.

박문형 2021-10

약 20여년 전부터 리눅스 + 레이드 라는 곳에서 걸리는 똑같은 상황입니다..

인텔에서도 리눅스용 레이드 드라이버를 직접 못 만들어서 LSI를 불려들였죠..

SCSI 때부터 현재까지 똑같습니다..

이득영 2021-10

AMD RAIDXpert2는 인텔 VROC와 마찬가지로 NVMe RAID를 지원하는데...
먼저 BIOS에서 RAID array을 생성하고
OS 설치시 드라이버를 로드해 주어야 합니다.
우분투는 설치 CD에 드라이버가 포함되어 있다고 하는 것 같아요.

아래 문서 한번 참조해 보세요.
https://www.amd.com/system/files/TechDocs/53987_1.pdf

네이쳐 2021-10

보니까 메인보드 공급 업체로부터 AMD-RAID 드라이버를 받으라고 하는거 같은데..
우분투 설치 CD에 포함되어있는게 맞나요?? ㅠㅠ

Note: Prior to starting this procedure, obtain the AMD-RAID drivers from your system supplier or motherboard vendor. Copy the AMD-RAID drivers to a dd directory on a USB flash drive formatted as FAT32. See Copy AMD-RAID drivers: Linux.

술이 2021-10

NVME 하드웨어 레이드는 없습니다. 메인보드도 저게 소프트레이드이지 하드웨어 레이드는 아니고 윈도우 계열만 지원할겁니다.
윈도우서버나 Hyper-V 올려서 가상화로 우분투 쓰는게 나을거 같네요.
보통 NVME는 OS 빠르게 사용하기 보단 스토리지 앞단 캐쉬가속용으로 사용합니다.
저거 4개 묶는거 진자 의미없다는걸 나중에 깨달을거니다.

네이쳐 2021-10

윈도우10은 ASUS 홈페이지에서 RAID 드라이버 다운로드 후 제대로 적용되는거 같습니다.

이득영 2021-10

윈도우10 설치가 문제없다면... 바이오스까지는 문제가 없는 듯합니다.
해당 가이드에도 드라이버는 제조사에 문의하라고는 되어있습니다만...
ASUS 홈페이지에는 우분투용 드라이버를 배포하고 있지는 않는 듯 합니다.
다만 우분투에 대해서는
Note: For installing later kernel versions of Ubuntu 20.04, AMD’s guidance is to
install Ubuntu 20.04.00, then upgrade and resync with the driver.
이런 말이 있어서요.

네이쳐 2021-10

문제는 저 드라이버가 어디 있는지 못찾겠어요 ㅠ
우분투 21 을 설치해봐도 그 드라이버는 적용 안되어 있는것 같고...

박문형 2021-10

https://www.amd.com/es/support/kb/release-notes/rn-ryzen-raid-2-17-05-2306

이거 보시고 거기 들어간 메뉴얼 잘 읽어보세요..

AMD에서 제공하지 못하면 보통은 답이 없습니다..

네이쳐 2021-10

하이포인트 제품을 사용하면 문제없는게 맞죠??

앤디코에 문의해서
제 메인보드와 우분투 20에서 잘 작동한다고 답변을 받았습니다.

박문형 2021-10

하이포인트 제품 우분투 재대로 지원하는지 확인하세요..

저는 써보지 못하였기에 진짜 된다 안된다는 잘 모릅니다..

그리고 앤디코에서는 기업 상대로는 테스트 대여도 해주는데 그것이 가능한지도 상담해보세요..

이래저래 괜히 비싼 돈만 들어갈 수 있으니까요..

네이쳐 2021-10

일단 된다고 답변을 받아서  SSD 8개 꽂을 수 있는 것으로 하나 구매하기로 했습니다.

또 하나 질문이 있는데.. 자꾸 질문드리게 되네요 ㅠㅠ

하이포인트 사이트에서
RocketU 1388C를 찾았는데,

제온 (스케일러블 2세대 또는 3세대) CPU 2개를 사용하는 메인보드에,
1338C 4개 또는 최대 6개 정도 사용해서 GPU 32개 ~ 48개를 인식 시켜서 사용할 수 있을까요??

이전 질문에서
https://hansungsmb.co.kr/h3platform/
이런거 알려주셔서 문의해봤는데, 껍데기만 구매해도 너무 비싸서

비용을 줄이려고 하고 있습니다.
데이터 전송 속도는 크게 중요하지 않고, 단순 쿠다 코어만 많으면 되서요...
그리고 연산중에 꺼져도, 다시 이어서 연산을 하면 되는 데이터들이고요...

DGX 서버에 A100 이 있어서 써봤는데
제가 하는 연산에는 GPU는 3060ti나 3070을 쓰는게 저한테는 가성비가 좋아서 많이 달려고 합니다.

박문형 2021-10

RocketU 1388C 는 PCIe 장치가 아니고 USB 3.2 to PCIe 카드입니다..

GPU 카드를 설치하지 못합니다..



개인적으로 보기에 PC와 서버 장비의 가격 차이가 심한데 그 이유 중에 하나는 PC는 PCIe 총 레인 갯수가 20개 정도로 한정이 되어 있고

서버는 PCIe 총 레인 갯수가 64개 128개 이런 식으로 갯수가 많습니다..

즉 PCIe 는 돈입니다..



현재 4U 급 랙마운드로 해서 나오는 GPU 서버들 2슬롯짜리 GPU는 10개 1슬롯짜리 GPU는 20개 정도가 최대 설치 한계입니다..

네이쳐 2021-10

라이져를 이용해서 GPU에서 usb로 1388C로 데이터를 전송하는게 안될까요???

일단 GPU가 인식만 되면 계산하는건 문제없을거 같습니다.

일단 생각은 4U짜리에 8개 GPU 로, 총 4~6개를 설치하려고 했습니다.

제온 CPU가 2개라서 뭔가 lane은 부족하지 않을까 해서요 ㅎㅎ

박문형 2021-10

그나저나 GPU 서버 여러대 클러스터링 해서는 사용하시는 프로그램이 돌아가나요??