현재 MX200 x 4로 RAID5를 묶었고, 레이드 컨트롤러는 인텔의 RS2BL040을 쓰고 있습니다. 그런데 큰 빌드를 하다 보면 스토리지에서 프리징이 걸리는 느낌으로 랙이 걸리는 것 같아서 스토리지를 업그레이드 하고 싶은데요, SSD는 그대로 사용하고 싶고, 레이드 컨트롤러를 더 빠른 것으로 교체하면 스토리지 속도 (특히 쓰기속도)가 향상될지가 궁금합니다. 아울러 가성비가 뛰어난 레이트 컨트롤러가 있다면 추천해 주시면 감사합니다 ^^;
현재 MX200 x 4로 RAID5를 묶었고, 레이드 컨트롤러는 인텔의 RS2BL040을 쓰고 있습니다. 그런데 큰 빌드를 하다 보면 스토리지에서 프리징이 걸리는 느낌으로 랙이 걸리는 것 같아서 스토리지를 업그레이드 하고 싶은데요, SSD는 그대로 사용하고 싶고, 레이드 컨트롤러를 더 빠른 것으로 교체하면 스토리지 속도 (특히 쓰기속도)가 향상될지가 궁금합니다. 아울러 가성비가 뛰어난 레이트 컨트롤러가 있다면 추천해 주시면 감사합니다 ^^;
대략 12G SAS 2세대 제품까지 나와 있는데
https://www.broadcom.com/products/storage/raid-controllers/tab-12Gb-nvme
https://www.microsemi.com/product-directory/raid-adapters/5377-smartraid-3162-12g-raid-adapters
https://www.microsemi.com/product-directory/raid-adapters/4815-12-gbps-smartraid-3100-series-adapters
일반적인 레이드 카드의 경우이고요..
이것도 맘에 안드시면 전문제조업체에 문의 하는 수 밖에 없습니다..
거기서도 답이 안나올 수가 있습니다..
정품 라인에서 최신형 제품들의 가격은 24CH 급은 250-300만원대 정도로 봐야 하며
실제 장터에서 볼 수 있는 것들은 몇 년 지난 중고품들입니다..
아답텍 5805 같은 건 나온지 대략 12년급 될 겁니다..
그리고 장터에서 보이는 아레카 1220은 KT 웹하드 때의 유산물이며
아래카 1680 같은 것들은 이슬림 스토리지 장비에서 폐기 되어 나온 것들입니다..
실제 맘 드는 제품이 있으면 모델 찍어서 가격 알아보세요..
제 용도는 게임 빌드머신이고, 90프로 이상이 컴파일입니다. 기존에 잘 쓰던 2670듀얼에서 이번에 운때가 잘 맞아서 2683v3듀얼로 업그레이드했는데, 32스레드 컴파일에서는 잘 버텨 주던 rs2bl040이 56스레드로 올라가면서 동시 빌드 양이 거의 2배 가까이 올라가니까 스토리지 병목으로 컴파일을 쉬는 스레드가 생기기 시작한 겁니다. 즉 제가 원하는 속도는 이론상 rs2bl040의 두배 정도만 되면 충분합니다. 솔직히 z터보 같은 거 레이드0으로 묶으면 성능 충분한 건 저도 잘 알지만, 제가 원하는 성능은 목표 수치가 거의 정해져있고, 무조건 최상의 성능을 원하는 것이 아닙니다. 요는 컴파일 스레드들이 놀지만 않을 정도의 퍼포먼스면 된다는 거죠.
경험적으로 보았을 때 일반 사용자용 하이엔드 sata3 sd정도면 컴파일에서는 충분한 모습이었는데, 빌드머신 스스디 몇번 깨먹고 나서 울며 겨자먹기로(빌드머신이 나가면 여러모로 피곤해서요 ㅠㅠ) 레이드로 묶어서 쓰고 있습니다. (250기가 4개라 레이드 복구도 그렇게 오래 걸리진 않아서 편하더라구요...) 그런데 컴파일만 그런건진 모르겠는데 전반적으로 레이드로 묶은 스스디들이 싱글 드라이브보다 라이트 아웃풋이 좀 딸린다는 느낌은 받고 있었습니다. 그래도 빌드가 버벅이진 않아서 걍 썼는데, 이번에 cpu를 업글하고 나서 레이드가 병목이 생기는 걸 확실히 느낀 거죠.
저는 레이드 쪼랩이라 레이드카드 스펙만 읽어서 얼마나 성능이 향상될지를 잘 모르겠어서 질문을 드린 겁니다 ^^; 개인적으로 중고 슈마 서버 조립해서 쓰는 마당에 스토리지에 수백 들이는 것도 현실적이지 않아서 레이드 카드 교체만으로 성능을 올릴 수 있을까 하는 것이 질문의 요지였어요. 그 점에서 질문이 엉성한 점은 반성하겠습니다 (__)
LSI제품은 국내 정품 대리점은 있는데 가격이 장난이 아닙니다..
그래서 인텔제품이 그나마 재일 싸고 관리 잘해주기에 많이 사용하는데 12G부터는 펌웨어가 리테일이랑 OEM이 확실히 분리되서
인텔 LSI 를 구하면 체널순서가 뒤죽박죽이 되는 경우가 있습니다..
아답텍 총판인 앤디코에서는 아답텍 제품을 기업에 한하여 테스트 데모를 일정기간 받을수 있습니다..
www.raidmall.com 에 가시면 해당 링크가 있을 것입니다..
레이드에서 3G 때는 SSD 꿈도 못꾸었고 6G 가서 LSI에서 SSD호환성이 좋아지기 시작했으며 그 후속 제품들은 SSD와 상생이 계속 좋아지긴 합니다..
개인적으로 SSD보다는 HDD가 안정도가 더 좋다라고 생각합니다..
그 외는 캐쉬램이 큰 레이드카드를 찾아 보는 방법도 있습니다...
아예 얼어버리는 것은 아닌가보네요.
속도가 아쉬우시다면 RAID5는 좋은 선택이 아닙니다.
차라리 raid 0으로 바꾸시고 저장과 연산을 분리해서 새로운 저장이나 서비스를 하기 위한 공간을 만드시는 건 어떨런지요.
raid로 묶는 경우 trim도 작동되지 않아 garbage collection이 효율적으로 되지 않습니다.
뜀뛰기를 할 때 100m 달리기가 있고, 마라톤이 있는데요.
100m 달리기를 할 때는 숨 안 쉬고 존나게 달려도 됩니다. 그러나 마라톤을 숨 안쉬고 달릴 수는 없지요. 그리고 100m 달리기 하듯이 긴 시간을 계속 뛰면 다리 근육에 젖산이 축적되어 쥐 나서 뛰지 못합니다. 젖산을 계속 분해하면서 뛰어야 합니다. 유산소운동을 하는 것이지요.
일반용 SSD는 마라톤 용으로 만들어진 물건이 아닙니다. 100m 달리기 한번 하고 한참 쉬었다가 회복되면 다시 뛰는 식으로 사용하는 물건입니다.
반면 기업용 SSD는 24시간 계속 뛰는 것을 전제하고 만들어진 물건입니다. trim이 안되는 raid 환경에서도 젖산 분해를 효율적으로 하면서 지속적으로 뛰도록 만들어 놓은 물건입니다.
raid 환경에서 사용하시려면 가급적 enterprise용 SSD를 사용하셔야 합니다. SSD가 일반 하드디스크와는 다른 점입니다. 하드디스크는 일반용이라도 TLER이 세팅된 것이라면 raid로 쓰는데 무리가 없지만, SSD는 그렇지 않습니다.
MX200을 raid 환경에서 계속 사용하시려면 overprovisioning이 권장됩니다.
overprovisioning은 SSD 용량의 일부를 콘트롤러가 garbage collection(달리기에서 젖산 분해)에 사용하라고 떼어 놓는 것입니다.
가령 256GB 짜리라면 200GB 용량만 사용하고, 512GB 짜리라면 400GB만 사용하는 것입니다.
raid를 풀고 SSD 하나 하나를 전용 utility에서 overprovisioning을 한 뒤에 다시 묶어서 사용하시면 됩니다.
프리징이 걸리는 것 같다는 것은 달리기에서 근육에 젖산이 축적되어 쥐 나는 것이나 마찬가지입니다.
trim이나 overprovisioning은 garbage collection(젖산 분해)을 원활하게 하기 위해 필요한 것인데, raid 환경에서 trim이 작동되지 않는만큼 overprovisioning이 절실히 필요합니다. 기업용 SSD의 경우에는 이미 충분하게 용량을 떼어 놓은 상태입니다. 가령 raw flash 576GB를 달아 놓고 overprovisioning을 하여 400GB 짜리로 만들어 놓기도 합니다.
overprovisioning을 충분히 하면 garbage collection이 원활해지고, 4k write 속도가 크게 증가합니다.(burst 속도가 아니라 steady state 속도가 증가한다는 뜻임. 100m 달리기가 아닌 마라톤 속도)
레이드 콘트롤러 바꾸는 것보다는 먼저 overprovisioning을 고려해 보세요.
보통 raid 콘트롤러는 개개 disk의 cache(raid 콘트롤러의 cache가 아니라 하드디스크나 SSD 안에 들어 있는 cache)를 off로 만드는 것이 default입니다.
disk cache를 disable시키고, 콘트롤러 cache를 enable 시키는 것이지요.
그 이유는 disk cache를 enable 시키면 정전이 되었을 때 cache 안에 들어 있는 것이 날아가기 때문입니다. raid 콘트롤러가 배터리나 캐퍼시터로 정전시 데이터 보호기능이 있다 하더라도 disk 안에 들어있는 cache는 보호해 주지 못하니까요. 기업용의 경우에는 SSD 자체에 정전시 데이터 보호기능이 들어 있습니다. 그러니 disk cache를 enable로 하더라도 정전시 안전합니다. 그러나 일반용의 경우에는 그런 기능이 없지요. 그렇더라도 SSD에서 cache는 enable시켜야 합니다. 안그러면 성능이 엄청나게 구리게 되거든요. 이것도 SSD가 하드디스크와 다른 점.
정전시 데이터 보호는 포기하고 disk cache를 enable로 해 놓아야 성능이 나옵니다.
direct io / cached io 중에서 선택하는 것이 있는데, 이것은 보통 direct io로 세팅하는 것이 좋습니다.
참고 : 좀 오래된 문서이기는 하지만
LSI Megaraid benchmark tips
https://docs.broadcom.com/docs/12353177
게임 컴파일이면 아마도 4k 미만 파일을 엄청나게 많이
컴파일하게 될 것 같은데요
위분 말씀대로 raid 5는 좋은 선택이 아닙니다
ssd여러개를 raid로 묶어도 4k 성능 크게 향상되지 않았던거 같습니다
대신 메모리를 풀뱅해서 256g로 만들고 램드라이브 잡아서
그곳에서 컴파일하고 결과를 raid 볼륨으로 옮기도록 구성했습니다
이건 원하시는 답은 아닐 겁니다
Intel raid 카드도 lsi oem 일텐데요
바로 위의 글에 보면 성능 향상 방법중에 fastpath가 있습니다
fastpath 활성화하는 키를 구해서 장착하면 많은 성능 향상이 있습니다
전 lsi 9280에 장착해서 fastpath 대신 cachecade사용중입니다
키는 이베이에서 구매했습니다
인텔은 호환되는지 아니면 별도키인지는 모르겠습니다
장터에 sas 6g slc ssd 200g 3개를 구해서 raid 0로 adaptec 71645 6g짜리에 물려서 비슷한 용도로 사용중입니다
이것도 32쓰레드 이상 활용한 컴파일엔 여전히 만족이 안됩니다
결국 4k 관련 iops에서 한계가 있습니다
steady state 4k write 속도를 올리려면 raid 5는 부적당합니다. raid 0이나 raid 10을 사용해야 합니다.
raid 0, 1, 10을 사용하는 데에는 raid card가 별 도움이 안됩니다.
인텔 SATA 포트에 물리는 것만 못합니다. 6G 포트 4개가 있다면 좋겠지만 부족하다면 3G SATA 2포트를 사용해도 됩니다. SATA2가 SATA3에 비해 순차 쓰기나 읽기에는 많이 섭섭하지만 steady state randomwrite 성능에는 그다지 크게 떨어지지 않습니다. 인터페이스보다는 자체 실력이 중요합니다. SATA2, SATA3 섞어서 raid 묶어도 됩니다.(안되는 것은 SATA와 SAS 같이 묶는 것)
https://www.anandtech.com/show/9258/crucial-mx200-250gb-500gb-1tb-ssd-review/2
여기를 보시면 MX200 250GB의 steady state 4k write 성능은 5.9kiops로 나타납니다.
https://www.anandtech.com/show/8216/samsung-ssd-850-pro-128gb-256gb-1tb-review-enter-the-3d-era/7
이것은 850 pro 리뷰인데요.
맨 아래 그래프에서 overprovisioning의 효과를 보세요.
850 pro 256GB 원상태(7% OP)일 때 4k write 성능이 8.5kiops 정도인데, 이것에 OP를 더해 206GB로 만들면 4k 성능이 40kiops 정도로 확 증가합니다.
기종에 따라 OP 효과가 다를 수는 있지만 비약적으로 느는 것은 확실합니다. raid 0로 몇개 묶는 것보다 효과가 더 큽니다. 부수적으로 수명도 늘고요.
1. OP를 더 준다.
2. raid 0, 1, 10을 사용한다.
3. 인텔 SATA 포트에 물린다.
4. raid 카드에 물려야 한다면 fastpath를 사용한다.
fastpath는 예전에는 option이었지만 LSI 카드의 경우 firmware를 후기 버전으로 업데이트하면 기본으로 다 지원됩니다.
대개 OEM 버전들도 fastpath는 firmware update만으로 기본지원됩니다.(Dell, IBM 등) 확실히는 모르겠지만 인텔 것도 그럴 것 같습니다.
ebay에서 키를 구매했는데 설명을 잘못봐서 raid 6 활성화키를 샀습니다.
지원 여부나 테스트는 못해봤습니다.
dell h700도 같은 계열로 생각되는데 최신펌도 이건 지원을 안하는 거 같습니다.
SSD를 사용하고 싶으면 소프트웨어 레이드를 사용해야되고 1 과 10 구성으로 사용해야됩니다. 아무리 많이 꼽아도 PCIE 대역폭을 넘을수는 없기에 딱 거기까지가 최대값입니다. 일반 SSD 여러개 물릴거면 NVME 두개 물려서 레이드1을 구성하는게 제일 심플하고 용량이 걱정이라면 NVME 두개와 나머지는 디스크 전부 10으로 스토리지풀 티어링을 구성하면 속도나 용량이나 전혀 걱정할게 없습니다. 소프트레이드 1이여도 읽기속도는 레이드0 와 같은 속도를 보여줍니다.
DB용으로 사용한다면 4k, 8k 등 작은 파일 쓰기 속도가 중요한데요. 그것도 burst 속도가 아니라 sustained 속도가 중요합니다.
burst 속도로는 NVMe > 12G SAS dual port > 12G SAS > 6G SAS 및 SATA3 이런 식으로 인터페이스 속도가 높을수록 빠릅니다.
sustained random write 속도는 도로보다도 자동차 자체 엔진이 중요합니다.
consumer용 NVMe ssd 웬만한 것들은 좋은 enterprise용 SATA3 SSD보다 못합니다.
enterprise용 SSD들의 spec에 나오는 수치들은 거의 믿을만 합니다. SNIA에서 정한 매우 엄격한 테스트 방법을 따라 테스트한 결과입니다.
물론 각자의 특성(블럭 크기, 큐 깊이, thread 수 등에 따른 성능 변화 등)은 따로 테스트를 해 보아야겠지만요.
comsumer용들은 크리스탈 디스마크, Atto 등등으로 간단히 테스트한 결과라서 작은 파일 쓰기가 지속적으로 많은 경우와는 엄청나게 차이가 납니다. 리뷰 기사등을 꼼꼼하게 보아야 합니다.
enterprise용들도 용도에 따라 대략 read intensive용, mixed use용, write intensive용 등으로 구분하기도 하고 endurance에 따라 구분하기도 합니다. enterprise용들 끼리도 성능은 10배 이상 차이 납니다.
제일 좋은 것은 인텔 P4800X optane SSD입니다. 인터페이스는 NVMe