dateno1 2022-08

H710 IT mode 되나요?

안 되면 RAID 구성 안 하는 순간 설치 대상 디스크가 아무것도 안 잡히는걸 볼 수 있습니다

나라사랑 2022-08

답변감사합니다.
IT 모드가 지원이 안되면 무조건 레이드구성을 해야하는군요

박문형 2022-08

https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprtl_adapters/poweredge-rc-h310_user%27s%20guide_ko-kr.pdf

H710 카드는 LSI SAS 2108 칩셋 베이스 카드이며 캐쉬 메모리가 있고 IT /IR 모드는 없는 그런 하드웨어 레이드 카드입니다..


먼저 RAID 구성을 하고 Proxmox 설치하는게 장점일까요  ==> 하드웨어 레이드 기능을 사용한다고 생각합니다..

Proxmox 설치 과정에서 RAID 구성이 장점일까요  ==> 가상 OS의 소프트 레이드 기능을 사용하는 것일까요??


둘 중에 어느 것이 진짜 좋다 나쁘다라고는 말하기 힘들 듯합니다..

나라사랑 2022-08

IT/IR 기능은 RAID가 아닌 물리적 디스크 그대로 사용할 수 있는 기능이라고 보면 될까요?

델 파워에지 T420 서버에 디스크를 500GB 2개, 1TB 4개, 8TB 2개 이렇게 설치를 했습니다.
1TB 4개를 레이드로 묶어 3T 가 설정 되었습니다. 여기에 Proxmox 설치를 했습니다.
나머지 500GB 2개와 8TB 2개는 RAID 구성을 하지 않고 그대로 두었습니다.
Proxmox 부팅을 해서 Disks 보면 본문에 첨부한것 처럼 잡혔습니다.


저가 궁긍한건
집에 윈도우 pc가 없고, 맥을 사용합니다. 그래서 서버에 케스트OS로 윈도우, xpenology, ubuntu(docker 사용 목적) 사용을 하려고 합니다.
여기서 vm 윈도우10 설치를 할때(모든 게스트OS도 마찬가지이지만) 설치할 공간을 가상 디스크를 활당해서 설치 하잖아요 설치공간은 이렇게 하고 저는 별도로 윈도우를 사용하면서 data를 보존하기 위해 물리적 디스크 하개를 rdm 형태로 붙여서 기존 윈도우를 삭제하고 다른 버전 윈도를 설치해서 기존 data 디스크를 그대로 쓰고자 합니다.(가능한지)
왜 이런 생각을 했냐면 전체 레이드 구성하여 사용을 할때 윈도우 설치공간처럼 data공간도 그렇게 설정을 한다면 윈도우를 삭제할 경우 기존 data 자료가 모두 날아간다는 것 때문입니다.
가령 윈도우pc에 물리적 디스크가 1개이고 이것을 파티션을 나눠 논리적 디스크 두개를 만들어 한곳에 윈도우 설치하고 한곳을 data로 사용할 경우 디스크 포멧을 해버리면 data 공간도 모두 소진이 되어버리기 때문에 이렇게 생각을 했습니다.

따라서
그럼 1TB 레이드구성해서 Proxmox 설치하고 나머지는 레이드구성을 하지 않고 본문처럼 나머지 디스크는 Proxmox에서 입맛에 맞게 활용을 하는게 좋을까요?
아니면 나머지 디스크를 레이드 0 으로 구성을 해서 쓰는게 좋을까요?

dateno1 2022-08

가상화 서버에 RDM으로 디스크 구성하는것 기본적으로 그닥 추천하고 싶지 않습니다

상당 확율로 문제가 생기고, 나중에 자료 복구하기도 힘들어요 (특히 RAID 구성후 그걸 다시 RDM으로 물리면 더 보장하기 힘듬)

거기다 가상화의 장점중 하나가 유연한 자원 할당인데, 저렇게 물린다는건 그걸 포기한다는 의미입니다

어지간하면 평범하게 가상 디스크 만들어서 게스트에 물려주세요

그리고 가상화 서버는 디스크 성능을 공유하므로 어지간하면 NVMe같은 PCIe타입 SSD로 구성하시는걸 추천합니다 (SATA/SAS로 구성하는거랑 체감 차이 커요)

참고로 제경우 가상화 서버에 유일하게 물려둔 HDD가 내부 백업용인데, 이조차 NFS(All Flash)로 대체하고 제거해야 하나 고민중입니다 (이미 Storage는 2.5G로 연결해놔서 디스크를 빼버리기만 하면 되는데, 핫 스왑 베이가 아니라서 귀찮다고 방치중입니다)

나라사랑 2022-08

답변감사합니다.
저도 NVMe같은 PCIe타입 SSD 생각하고 있는데 예산이 ㅠㅠ
이렇게 하면 전력소비량도 줄고 체감도 좋고 저에게 좋은데 말입니다.
총알이 된다면 이것 저것 바꾸려고 esxi 사용을 하다가 vm, ct 백업이 간단하고 쉬운 proxmox로 바꾸게 되었습니다.
그런데 NVMe같은 PCIe타입 SSD 장착을 한다면 proxmox 설치가 되는건가요?

dateno1 2022-08

?

Host Boot 매체가 아니니 그냥 남는 PCie에 변환젠더라도 꽃아서 꽃으면 끝입니다

거기다 Host를 설치하란게 아니라 VM의 가상 디스크를 생성하는 데이터용으로 쓰란 애기입니다 (Host디스크가 빨라져도 딱히 가상의 성능업 없음)

박문형 2022-08

레이드 카드는 크게 2가지 인데

캐쉬 메모리가 있고 레이드 기능을 전용 프로세서(하드웨어)로 처리하는 레이드 카드 (지금 사용하는 모델 같은 류)

이것은 IT /IR 모드라는 것이 없고 하드들을 레이드 레벨로 묶거나 JBOD 혹은 Pass through 모드를 이용 하드디스크 1개를 레이드 레벨 없이

레이드 카드에 연결합니다..

캐쉬 메모리가 없고 레이드 기능은 CPU 파워에 의한 소프트웨어(펌웨어)로 처리하는 레이드 카드 (HBA 카드)

이것은 IT 모드와 IR 모드가 있고 I

T 모드는 마더보드에 SATA하드 연결되듯 SAS HBA에 하드들이 다이랙트로 연결되는 방식  / 레이드 기능 없습니다..

IR 모드는 레이드 기능이 있어서 하드들을 지정된 레이드 레벨로 묶을수 있습니다.. 그러나 프로세서 성능 부족으로 RAID 0 /1 /1+0 만 구현되는

경우가 많습니다..

현재 상황은 하드 1테라 4개를 RAID 레벨 5로 묶어서 사용중이며 나머지 하드들은 그냥 IT 모드 비슷하게 연결만 해서 사용중이신 상태입니다..

H710 카드는 JBOD나 Pass through 메뉴가 없고 단지 HDD들을 RAID 레벨로 묶던지 아니면 Unconfig 하면 하드들은 그냥 Pass through 모드 같이 동작합니다..

레이드 카드를 사용하는 목적은 몇가지 있는데

#1 : 작은 하드를 여러개 묶어서 가상의 큰 하드를 사용한다..

#2 : 데이터 복구가 되는 레이드 레벨로 여러개 하드를 묶어서 사용중에 하드가 1개 내지 2개 죽어도 동작을 계속할 수 있게 만든다..

#3 : 여러개의 하드를 레이드 레벨로 묶어서 좀더 속도가 빠른 가상 디스크를 만들어 사용한다..

대략 요정도 이고

Proxmox 는 VMware 같은 가상OS로 이름만 좀 들어본 정도인데 밑의 파티션을 잡아서 사용하는 것을 보니 대략 리눅스와 비슷하다라고 생각되며

지금 사용하는 레이드카드의 성능을 최대로 이용하려면 레이드 볼륨을 레이드 카드로 만들어서 사용하는 것이 좋고

현재 같이 몇몇 하드를 그냥 하드만 레이드 카드에 매달아둔다면 그 하드가 고장났을때 데이터 백업이 안되어 있으면 데이터 망실을 하게 됩니다..

대략 부팅 디스크는 RAID 1 RAID 1+0 정도를 추천하며 데이터 영역은 RAID 5 혹은 RAID 6 로 묶어서 사용하고 몇개의 여유 핫스페어 디스크를 둔다면

오래 운영해도 큰 문제는 없을 것입니다..

이리 운영하든 저리 운영하든 레이드 장비를 운영하면 레이드 볼륨이 깨질수 있다라는 것을 명심하고 데이터는 다른 독립된기기에 꼭 백업을 해두는 것이

데이터를 오래 보존하는 길입니다..
 

레이드 카드를 사용하는 목적과 각 레이드 레벨의 특성 등을 잘 모르셨기에 저렇게 운영하지 않았나 생각됩니다..

지금 셋팅된대로 운영해도 상관은 없지만  디스크가 1개 고장나도 운용이 가능하게 하질 못하며 일부 낱개로 붙여둔 하드들은 퍼포먼스가

하드 1개 퍼포먼스밖에 못 냅니다..

나라사랑 2022-08

긴장문의 답변 감사합니다.

현재로서는 물리적 디스크 용량이 동일하지 않고 갯수 또한 어중간하게 있어 문제가 있는것 같습니다.
베이가 8개 ..
현재 보유하고 있는 디스크를 활용을 하려면..

1안
500기가는 레이드1로 잡고 Proxmox 설치
1테라 4개는 레이드5 vm, ct 디스크로 사용을 하고
8테라 2개는 레이드1 xpenology 디스크로 사용

2안
1테라 4개 레이드5 Proxmox 설치하고 vm, ct 디스크로 사용
8테라 2개 레이드1 xpenology 디스크로 사용
500기가 2개는 각각 Pass through 윈도우 Data 저장 공간

향후 8테라 2개 구매를 한다고 과정을 한다면 ..
2안으로 가야 하는것 같은데 여기서 또 문제가 발생할 것 같은 느낌이 ...
현재 8테라 2개를 레이드1로 잡고 사용을 하다가 2개 추가 레이드5 변경을 하면 기존 xpenology data는 소멸 ...이게 걸림돌이네요.

혹시 레이드1로 잡고 사용을 하다가 그중 1개 디스크가 고장이 나면 동일한 디스크를 교체하면 복구가 가능한가요?
즐거운 주말되세요.

박문형 2022-08

레이드를 잡고 하드를 사용하다가 하드를 하나 두개 이런식으로 늘리기가 쉽지 않습니다..

한번에 늘려서 편하게 사용하다가 용량이 많이 차면 더 큰 하드를 구하던지 디스크 갯수를 늘리던지 아니면 서버 자체를 늘려야죠..

디스크 베이가 총 8개이니

A1 : OS 디스크 2개 : 하드 최대 용량은 2테라까지 : UEFI 부팅하드는 최대용량 제한이 없으나 레거시로 부팅은 최대용량이 2테라 입니다..
                                                                    UEFI를 사용할 생각이라면 레이드 카드나 다른 모든 것들이 UEFI를 재대로 지원하는지 확인해야 합니다..
                                                                    RAID 1로 묶으면 됩니다..

      DATA 디스크 6개 : 하드용량은 크게 관계 없음 : 현재 8테라 하드를 사용하시니 같은 모델로 8테라 하드를 여러개 구해 RAID 5나 6으로 묶으세요..


A2 : OS디스크 2개 핫스페어디스크 1개 : OS디스크는 RAID 1로 묶고 OS핫스페어용 디스크를 하나 준비해서 설치해둡니다..

      DATA디스크 4개 핫스체어디스크 1개 : DATA 디스크는 RAID 5로 묶고  DATA 준비합니다..




관리자가 항상 붙어 있지 않는 경우에는 핫스페어를 셋팅하면 서버가 조금이나마 더 버틸수 있습니다..

핫스페어가 없고 빈 디스크 자리가 없는 경우 만일 하드 1개가 고장나면 그것을 빼내고 예비하드를 그 전에 준비했다가 불량하드와 바꾸어 꼽아줍니다..

레이드가 묶여 있는 시스템에서 디스크 교환시에는 항상 레이드 카드 모니터링 유틸리티를 열어두어 레이드 카드의 상태를 확인할수 있도록 준비합니다..

레이드 장비를 운영할시 여분의 교환할 디스크를 한두개 더 준비해주는 것이 좋습니다..

복구능력이 있는 레이드 레벨에서는 디스크가 1개가 고장나도 장비는 우선 느려지지만 서비스가 끊어지지 않고 돌아갑니다..

본래 레이드 장치가 들어간 서버는 핫스압 디스크까지 준비가 되어 서버를 끄지 않고 온라인 상태에서 하드를 교환하는 것이 좋습니다..

나라사랑 2022-08

답변을 늦게 보았습니다.
감사합니다.
많이 배웁니다.