4T SAS HDD 10개로 묶습니다.
Dell T620 서버이고요, RAID 카드는 H710p 입니다. (캐쉬 1G)
여러분이라면 RAID 6와 RAID 60 중 어떤 것으로 묶으시겠습니까? 그리고 그 이유는 무엇인가요?
(RAID 5 + Hot Spare는 고려대상이 아닙니다.)
RAID 5, RAID 6는 이미 스트라이핑이 되어 있는데..
RAID 50, 60은 왜 필요한 것인지 잘 이해가 되지 않습니다.
(RAID 50은 좀 이해가 갑니다만, 60은 정말 이해가 가지 않습니다. 너무 많은 패리티 공간 낭비가 있지 않나요?)
저는 RAID 6이면 충분하리라 봅니다만, 혹시 RAID 60을 선택한 분들이 있다면, 무엇때문에 RAID 60을 쓰는지 궁금합니다.
RAID60은 6+0
RAID6을 구성한다음 다시 RAID0을 한 것
RAID0은 스트라이핑
스트라이프 사이즈 단위로 데이터를 다른 디스크로 재배치 한 것
이것(RAID0)을 하는 이유는 속도의 증가
즉 RAID6으로 이중 페리티화하여 데이터를 보호화고 RAID0으로 속도 증가를 꾀함
나중에 보시면 알겠지만 RAID51 / RAID61 같은 것도 있고 RAID 100이란 것도 있습니다..
실제 RAID60을 한다고 해서 다 100% 속도가 증가한다고 보기는 힘듭니다..
해봐야 압니다..
개인적으로는 RAID6이란 것을 별로 안 좋아하는 주의인지라 RAID5라도 충분하다라고 생각합니다..(관리가 더 중요)
(실재 개인용 시스템은 RAID카드는 필수지만 RAID 절대 안 묶고 사용하는 타입)
그럼 10개중 4개 패리티니깐 양쪽에서 2개씩 디스크 장애가 나도 버티겠네요.
10개중 5개 패리티 10으로 구성한다먄 재수없게 한쌍이 다 나가면 망하는건데 60은 더 적은 디스크(4개)를 투자해서 어떤케이스라도 2개까지는 괜찮고 운이 따라주면 4개 까지도 버텨주는군요.
이런식으로 보자면 01도 고려해 볼 수 있는....
즉. 주식 투자마냥 잘 찍는게 포인트 같습니다.
감 잡았습니다.
10개의 경우, RAID 60을 하면, 예를 들어 5개씩 R6를 하고 그것을 0으로 처리할 수 있겠군요.
이러면 패리티로 10개 중 4개를 쓴다는 이야기인데.. 저는 이것은 별 의미가 없는 것 같습니다. (디스크 갯수가 더 많아지면 모르겠지만)
오히려 5개씩 R5를 하고, 이것을 0으로 처리하면.. R6와 비교해 볼 수 있겠습니다.
그러나 10개 디스크를 R50한 것과 R6 한 것 중.. 속도 면에서 어떤 것이 더 나을지는 해 봐야 알겠군요.
(사실 크게 차이 나지 않을 것 같기는 하네요..)
정리하자면 R60은 디스크 개수가 정말 많을 때 아니면 큰 의미가 없겠습니다..
보통 12개 이상 이면 속도가 조금씩 느려집니다..
그리고 레이드 콘트롤러에 따라 한 레이드 볼륨을 묶을수 있는 하드의 갯수도 제한되는 경우가 있습니다..
10개를 raid 60으로 한다면
5개 raid 6 - A
5개 raid 6 - B
A와 B가 raid 0으로 묶인 형태인데요.
A 중의 하나가 탈락되어 degrade 되었다고 할 때 전체로 보라 raid 60 10개 볼륨이 degrade 되었다고 볼 수도 있지만, 부분적으로 보면 A만 degrade된 것입니다.
A에서 탈락된 것을 교체하여 리빌딩이 된다고 할 때 A에서만 리빌딩이 됩니다. B는 그냥 정상가동되는 것이고요. A에 있는 각 디스크에서 한 블럭을 읽어들여 패리티 계산을 한 뒤 새로 교체한 디스크에 한 블럭을 기록합니다. 이것을 반복하여 리빌딩을 하는 것인데, 결국 A에 있는 디스크 내용 전체를 다 읽어들여야 리빌딩을 할 수 있지요.
만약에 raid 60이 아니라 10개를 raid 6으로 묶는다면 디스크 9개를 다 읽어들여 패리티 계산을 한 뒤 디스크 하나를 리빌딩하게 됩니다.
리빌딩하는 시간이 2배 차이가 나고, 읽어 들여야 하는 양이 2배가 되므로 읽는 동안 에러가 날 확률이 2배가 됩니다.
디스크 10개가 아니라 24개쯤 된다면 이것을 그냥 raid 5나 raid 6으로 묶으면 리빌딩하는 시간이 무쟈게 오래 걸리고, 읽는 양이 무쟈게 많으므로 리빌딩하는 동안 에러가 나는 참혹한 일이 벌어질 확률이 증가합니다.
디스크마다 spec에 unrecoverable read error 확률을 표시해 두는데요.
일반용 SATA HDD - 1 / 10^14
기업용 SATA / NL-SAS : 1 / 10^15
SAS : 1 / 10^16
기업용 SSD : 1 / 10^16 ~ 1 / 10^17
일반용 SSD : 1 / 10^16인 것도 있고, 아예 표시도 하지 않는 것들이 많음.
SSD에서 URE를 줄이려면 flash chip을 좀 좋은 것을 쓴다거나 할 수도 있겠지만, ECC를 좀 더 고도로 해 주어야 합니다.
많은 디스크를 raid 5나 raid 6로 묶는 것보다 raid 50이나 raid 60으로 묶는 것이 성능이 좋다고 하는데요.
이게 순차 읽기 쓰기 속도가 향상된다는 말이 아닙니다. raid 5나 raid 6도 순차 읽기 쓰기는 성능 좋습니다.
문제는 random 읽기 쓰기 속도입니다. transaction에서 문제는 radom iops가 얼마나 되느냐인데, 15k SAS 디스크를 쓰는 이유도 radom iops를 높이기 위함입니다.
random 성능으로 보자면
Raid 0 > raid 10 > raid 50, 60 > raid 5, 6
이런 식으로 raid 5나 raid 6의 성능은 매우 좋지 않습니다. 그래서 보통 raid 10을 많이 쓰지요.
그런데 요즈음에는 transaction 처리를 위한 역할을 거의 SSD가 떠맡고 있습니다. 물리적 하드디스크들은 거의 쓰지 않습니다. 물리적 하드디스크들은 cold data용으로나 쓰지요.
그러므로 raid 50이나 raid 60이 raid 5나 raid 6에 비해 성능이 좋다는 얘기는 요즘에는 별 의미가 없다고 봅니다. 물리적 하드디스크로 random iops 높여 보아야 SSD에 비하면 새발의 피니까요.
raid 10으로 묶은 SSD tier - hot data
raid 60으로 묶은 물리적 하드디스크 tier - cold data
이런 식으로 묶어 사용하기도 합니다.
정말 고맙습니다.
저는 SAS를 사용중이고, URE는 1/10^16 HDD를 사용중입니다.
가상머신 서버이고, SSD는 RAID 1 해서 OS용으로, HDD는 데이터용으로 사용중입니다.
제 환경에서는 RAID 6면 충분하다는 결론이고요.
그러나 간장게장님 설명 듣고 확신이 생기는군요.
(평소에 간장게장님 SSD 관련 설명도 잘 보고 있습니다. 고맙습니다.)