예전에 PC용 SSD(삼성 850Pro)로 RAID 구성하니
처음에는 속도가 잘 나오다가,
한참 지나서 보니 속도가 반토막 났던적이 있었습니다.
그때 어떤분이
PC용 SSD로 RAID 카드에 연결하면 TRIM 기능이 작동이 않되서 그렇다고 하셨던것 같습니다.
지금은 1만rpm SAS HDD 8개 RAID-5 사용중인데,
좀 빠릿한 속도가 필요해서 서버용 SSD로 교체를 고려중입니다.
삼성전자 PM893 벌크 (480GB)
https://prod.danawa.com/info/?pcode=17343128&cate=11335290
---> SATA SSD 입니다.
이거 8개 사서 Dell PERC H710 mini RAID 카드에 RAID-5 구성하려고 하는데요.
(PM893 은 Dell 에서 공식적으로 사용되는 SSD로 알고 있습니다.)
제가 궁금한건,
1. 서버용 SSD 니까, RAID-5 구성해도 SSD 자체 TRIM이나 GC 작동이 잘 될까요?
(오래써도 처음 속도가 잘 유지 될까요?)
2. 지금 쓰는 1만rpm SAS HDD 구성보다 (랜덤 Read/Write일 경우) 유의미한 속도 향상이 있을까요?
많은 의견 부탁드립니다.
2. 네, 벤치마크 했던 결과로는 단일 SSD 여도 10k RPM SAS HDD 보다 확실한 Random IO 에 대한 성능 향상이 있었습니다.
다만 참고하실게, PM893 이 DELL 에서 어떤 타입으로 사용되었는지 확인해 보셔야 할 것으로 보입니다.
보통 HPE 나 DELL 의 서버용 SSD 는 RI / MU / WI 으로 워크로드 유형에 따라서 SSD 을 구분해서 사용합니다.
RAID 구성해서 주로 사용하는 파트는 MU 타입으로 사용하는 경우가 많습니다.
"해당 영역이 지워지는 것" 이기 때문에 해당 커맨드는 Host에서 내려주는 것으로, Device가 자체적으로 Trim을 결정할 수는 없습니다.
SAS(RAID) Controller와 cSSD(Customer SSD), eSSD(Enterprise SSD)간의 궁합이 어떻게 되는지는 모르겠지만...
서버용 SSD라고 자체 Trim이 동작하지는 않습니다.
다만 eSSD의 경우 GC가 돌더라도 cSSD 대비 성능 하락폭이 적은 편으로, 성능저하 폭은 적다고 볼 수 있습니다.
2. 1만 RPM SAS HDD 8개보다 eSSD 하나가 더 유의미한 속도 향상이 있습니다.
물론 RAID5를 묶는다고 한다면, eSSD 와 RAID 간의 Strip Size 등을 고려해야하기 떄문에, 비교가 모호해질 수는 있습니다... 만은
그래도 1만 RPM SAS HDD 8개보다 eSSD 하나가 유의미하게 빠릅니다.
두 제품의 차이는 무엇일까요??
2. : 10K SAS HDD 는 기업용 제품 (엔터프라이즈 제품) 입니다..
HDD와 SSD가 대략 같은 인터페이스 스팩에서 가장 차이가 많이 나는 것 두가지는 읽기/ 쓰기 속도는 대략 2배 정도로 SSD가 높고
억세스 속도는 SSD가 0에 근접 하기에 HDD와 비교해서 천배 이상 차이가 날겁니다.. (자세한 것은 각 모델의 스팩데이터 참조)
이것 때문에 비싸고 데이터 복구는 거의 불가능해도 SSD를 사용하는 것입니다..
SSD 라는 제품이 어느 정도 레이드 콘트롤러에 적용이 되어 사용해질만한 때가 SAS 6G 부터 이고 실제 재대로 사용할려면 SAS 12G 부터 입니다..
SSD의 재대로 사용할려면 HBA에 연결한 후 소프트웨어 레이드로 묶어 사용하는 것이 호환성 문제나 다른 자잘한 문제를 최대한 피한다고 합니다..
그리고 더 높은 퍼포먼스를 필요로 한다면 Nvme U.2 제품으로 구축하면 되는데 이것을 하려면 돈도 돈이지만 모든 시스템을 다 바꾸어야 합니다..
Nvme 는 기본적으로 PCie 4x 라서 여러개 설치하려면 시스템에서 많은 PCIe 레인을 지원해야 하고 샤시도 U.2를 지원해야 하며 레이드 묶는 방법도
일단은 인텔 스케일러블 시스템의 VROC로 한정되어 있습니다..
VROC도 알아보면 이것저것 제약이 많이 존재합니다..
사실 이 부분이 제일 신경 쓰여집니다.
그리고 소모품입니다..
전체적인 레이드 볼륨의 수명은 누구도 장담 못합니다..
데이터를 망실하지 않을려면 독립된 장비에 확실한 백업과 리스토어 밖에 없습니다..
1차 백업을 하더라도 그것을 다루다가 망실되는 경우도 있으니 최대한 그런 것을 줄일려면 독립된 장비에 3차 이상의 백업까지 가야 합니다..
물론 예산이 어용하는 경우에 지만요..
https://www.2cpu.co.kr/lec/4587
일반용 /기업용 HDD의 차이입니다..
SSD도 몇가지 모델 가지고 스팩 비교 해보면 알 수 있을 것입니다..
스팩 자료는 제조사에서 공급하는 것으로 기준 삼아야 합니다..
하드웨어 레이드에서 안 되는 이유 결국 삭제되었는지 안 되었는지 디스크 컨트롤러에 전달이 안 되서 그런거니까요
참고로 상용 NAS같은것 대부분이 그걸 쓰고 있습니다
https://www.2cpu.co.kr/QnA/879428?&sfl=wr_name%2C1&stx=%C7%D1%C8%BF%BC%AE&sop=and
그래서 어느 정도 수요가 있는 기업은 국산제품이라도 보통 해외에서 수입해서 사용합니다..
이 추세도 나중에는 바뀌겠지만요..
SATA SSD에서
대략 다나와에서 무상 AS기간 5년짜리 SSD를 찾으면 그것이 거의 기업용으로 생각하셔도 됩니다..
시게이트 아이언울프 랑 HGST SA210 씨리즈 정도 있을겁니다..
HGST SA210은 거의 단종급 같네요..
다만 단순 성능 문제로 개선되는 부분은 큽니다
그런데 SAS/SATA SSD RAID해봐야 AIC같은거 단일보다 느립니다
성능 기대해서 묶으실려는거라면 그냥 안 하시는게 정답입니다 (심지어는 과거 성능땜에 0으로 묶어본적도 있지만 성능에 좌절했었습니다)
https://download.semiconductor.samsung.com/resources/data-sheet/Samsung_SSD_PM893_Data_Sheet_Rev1.0_10129115074234.pdf
순차 읽기 : 550 MB/sec
순차 쓰기 : 520 MB/sec
랜덤 읽기 : 98 kios
순차 쓰기 : 29 kios
endurance : 876 TB
삼성 850 Pro의 랜덤 쓰기 성능은 7.5 kiops 정도입니다.(850 Pro spec에 나오는 수치는 burst 성능이고, 기업용 SSD 측정 방법에 따른 sustained 성능은 7.5 kiops 정도임) 랜덤 쓰기 성능 이외의 성능은 PM893이나 850 Pro나 비슷비슷합니다.
1. 서버용 SSD 니까, RAID-5 구성해도 SSD 자체 TRIM이나 GC 작동이 잘 될까요?
(오래써도 처음 속도가 잘 유지 될까요?)
SSD 자체 trim이란 것은 없고, trim명령을 host에서 주어야 작동합니다. 대개 raid 카드에서 raid 5로 묶는 경우 raid 카드에서 SSD에 trim 명령을 보내지 않습니다. 결국 trim은 작동되지 않을 겁니다.
trim은 GC(garbage collection)를 효율적으로 하기 위해 필요한 기능입니다. 기업용 SSD의 경우 trim 기능은 있지만, trim이 작동되지 않는 환경을 고려하여 만들어졌습니다.(firmware와 overprovisioning 비율) trim이 작동되지 않더라도 GC가 충분한 정도로 작동될 겁니다.
2. 지금 쓰는 1만rpm SAS HDD 구성보다 (랜덤 Read/Write일 경우) 유의미한 속도 향상이 있을까요?
hdd와 SSD는 랜덤 읽기와 쓰기 성능에서 비교가 안됩니다.
PM893은 기업용이므로 power loss protection 기능을 가지고 있습니다. 이거 raid 5 환경에서 아주 중요합니다. power loss protection 기능이 없는 일반용 SSD는 raid 5를 사용하는 것이 매우 위험합니다. 정전시 데이터 손실이 발생할 수 있습니다. hdd의 경우에는 power loss protection 기능이 없지만, raid로 묶는 경우 default로 raid 카드에서 hdd의 buffer(hdd 내부 cache)를 사용하지 않도록 세팅합니다. SSD의 경우에는 내부 cache를 사용하지 않도록 만들 수 없는 경우도 있고, 그렇게 하면 성능이 엄청나게 느려지는 경우도 있습니다.(raid 카드의 power loss protection 기능과는 다른 문제임)
(1) OS, 용용프로그램 ---> (2) raid 카드 cache ---> (3) hdd 혹은 SSD 내부 cache ---> (4) hdd 플래터 혹은 SSD NAND
이런 순서로 데이터가 흐르는데, 정전이 되면 (2)와 (3)에 있는 것이 날아갑니다. (2)에 남아 있는 데이터를 보호하기 위해 raid 카드에는 배터리 혹은 capacitor와 flash를 사용하여 보호합니다. 그런데 (2)를 보호하더라도 (3)이 날아가면 문제입니다. 그래서 raid 카드는 raid로 묶는 경우 default로 (3)의 hdd 내부 cache를 사용하지 않도록 세팅합니다. SSD의 경우에는 그럴 수 없는 경우가 많습니다. 더구나 SSD는 cache의 양도 많습니다. SSD 하나당 1GB라면 여러개 묶으면 그에 비례하여 커집니다. 그게 날아가면 문제입니다. (3)이 날아가면 (2)를 보호하는 것이 아무 의미가 없어집니다.
PM893의 endurance가 876 TB인데, overprovisioning을 더 해 주면 endurance와 랜덤 쓰기 성능이 증가합니다. 만약에 overprovisioning을 더 주어 960 GB를 800 GB로 사용한다면 endurance가 대략 2.5배 정도 증가할 것을 기대할 수 있습니다.
RAID 카드는 IT 모드로 펌업하고,
PM893 구입해서 mdadm RAID-5 구성하는게 최선일것 같네요.