저라면 1 대의 하드웨어 서버의 스토리지인 경우에는 스토리지의 안전을 위하여 RAID를 쓰겠습니다. RAID1, RAID10, RAID60 .... 이런식으로 쓰겠습니다. 이것은 어디까지나 저는 그렇게 쓴다는 이야기일뿐 선호도나 필요에 따라서 다른 레벨의 레이드를 쓸 수 있겠지요.
레이드가 없어지면서 (수학적으로 계산된 결과에 의하여) 컴퓨터의 가격도 많이 저렴해졌기때문에 스토리지 클러스터가 생겨나기 시작했습니다. 그래서 좀 큰 스토리지 또는 서버의 경우 그냥 클러스터링으로 가는 경우가 허다해졌습니다. 수십대 또는 그이상의 컴퓨터들을 클러스터로 만들어서 사용하는데 하이어벨러빌리티 클러스터링을 용도에 따라 묶어서 1개의 씨스템이 정말 죽으려면 그 클러스터에 묶여있는 컴퓨터들의 50%가 죽어야 가능한경우 25프로가 죽어야 하는경우 90프로가 죽어야 하는 경우 등등등 세팅하기 나름이겠죠. 로버스트니스에 중점을 두느냐 아니면 퍼포먼스에 중점을 두느냐 이것에 따라서 다르겠지요. 물론 스토리지 용량의 크기도 그것과 똑같습니다. 만약 1테라 스토리지가 들어있는 컴퓨터 100대를 묶어 놓고 어느정도의 안정성 버퍼를 두느냐에 따라서 1개만 죽어도 데이터가 날라갈 수 있는 씨스템과 99개가 죽어도 데이터가 살아있는 경우중 세팅을 다르게 할 수 있겠습니다. 100대를 묶어두고 스피드와 안전성을 위하여 1테라의 저장공간을 탄탄하게? ㅋㅋ 이건 미친짓이겠지만요...
레이드의 안정성이나 레이드와 대용량하드디스크에 대한 글들을 찾아보시면 내용이 좀 있을것입니다.
무슨 뱅킹 시스템 제안서에 나오는 이야기 같군요.
2CPU 내에 개인의 storage 를 구성할 경우에는 그렇게 클러스터를 구성할 수도 없고, 해 봤자 2대 클러스터링이 최고가 아닐까 생각이 드는 군요.
무슨 3대 중 2대가 죽어도 운영 가능한 시스템을 개인의 취미로 가동하는 사람은 없을 테니까요.
일단 RAID 5 무지 좋습니다. 그리고 잘 쓰면 정말 안전합니다.
물론 하드웨어 RAID Card, 예를 들면 Adaptec 71605 같은 것에 BBU 걸고 쓰면 정전에도 거의 error 없이 넘어갑니다.
Adaptec 71605 에 BBU 있는 것도 ebay 에서 $50 미만으로 구입이 가능합니다.
속도 도 끝내 줍니다. (물론 Write back cache on 인 상태로..)
HDD 5개 Raid 5 구성하면, 반드시 HDD 4개 striping 한 속도가 나오는 것이 정상입니다.
제 경우는 도시바 3TB HDD 16개를 RAID 5로 묶어서 5년째 data 보관용 으로 쓰고 있습니다.
HDD 가 구형이라서 R/W 속도는 500 MB/s 이상 뽑아 줍니다.
최근에 8TB x 12개를 Raid 5 로 묶었는데, 이 경우는 1000 MB/s 는 가볍게 넘습니다.
제 경우 RAID 5 의 HDD 가 1개 Error 가 나오면 HDD 를 새것으로 교체 하기전에, 무조건 Backup 부터 합니다.
한 2~3일 걸려서 Backup 이 끝나면, 그때 고장난 HDD 를 바꾸어서 re-build 시킵니다.
re-build 가 성공하면 계속 사용하고, 실패하더라도 새로 RAID 5 format 을 한 후에 (한 2~3일 걸리죠) Backup 된 data 를 다시 restore 합니다.
물론 제가 무슨 뱅킹 시스템을 돌리는 host 역할을 하는 것도 아니어서, 전혀 문제가 없습니다.
그리고 HDD 선택을 잘 해야 합니다. 될 수 있으면 조용하고 enterprise type 으로...
HGST 6TB x 12개 RAID 5 도 있는데, 너무 시끄러워서 옥탑방에 쳐박아 두었습니다.
아무래도 시끄럽다는 것은 수명에도 좋지 않을 것이라고 추측하고 있습니다.
이제 현실적으로 HDD 가격에 대해서 이야기 해봅시다.
지금 8TB 이면 거의 25만원이 넘습니다. 그걸 10개 사면 250만원..
그런데 9개가 죽어도 살아나는 storage 구성을 하면 250만원을 들여서 8TB storage 를 쓴다는 말이 됩니다.
정말로 기업에서도 이런 미친짓은 하지 않습니다. 달나라에 우주 로켓을 발사하는 시스템에서도 이렇게 까지야 말이 않됩니다.
개인은 10개 중 1개가 parity 로 되고 9개(72TB)를 storage 로 써도 8TB 가 아까운 지경입니다.
아주 너그럽게 보아서 RAID 6 까지는 해서 2개를 parity 로 희생하고 64TB 까지는 참을 수도 있겠죠.
아마 클러스터링 몇 세트 운운하는 업체는 HDD 를 포함한 H/W 를 많이 팔려고 하는 장사 심뽀가 많이 들어가 있다고 생각됩니다.
경우에 따라 깨져도 몇 시간 이내에 복구가 가능하도록 시스템을 갖추고 있어야 하죠.
즉 매일 아침 온라인 개시시간 이전에 full backup 을 하여 놓고, 매 transaction 마다 BI, AI 등의 log 를 기록하고 있다가, 무슨 사건이 터져서 storage 복구를 하려면 HDD 를 교환하고, 아침에 backup 한 것으로 full restore 하고, 그날 중에 log 를 update 하여서 정상화 한다던가 하는 것입니다.
어째던 복구에 많은 자원을 투자하여 그만 큼 뽑을 가치가 있는 시스템 이라고 하면 50% 정도는 parity 혹은 여유로 둘 수는 있겠으나, 75%를 여유로 둔다던가 하는 것은 아무래도 over spec 이라고 생각합니다.
2CPU 개인 회원은 데이터 복구를 위해서 99%가 죽어도 데이터가 살아야하는 그런 경우는 잘 없을 것으로 생각합니다.
RAID 60 뭐 이런꺼 써서 좋은 일 있습니까? (총 용량에 40% 미만만 사용한다는 자부심에는 좋을지도...)
H/W failure 보다는 Human error 가 data 를 날려 먹을 확율이 훨씬 높습니다.
뭐 backup 한답시고 restore 해서 깨먹고, 엉뚱한 data 복사해서 깨먹고...
막 HDD 에 쓰기를 진행 중에 있는데, 전원을 덜컥 내려 버리고 등이죠...
이런 Human error 는 RAID 60 아니라 그 할애비를 해 놔도 소용이 없을 수가 있습니다.
그래도 꼭 무슨 뱅킹 시스템 제안서에서나 나오는 이야기는 아닙니다. 제가 언급한 것이 조금 에바라고 할 수 있기도 하겠지만 또 한편으로 그렇지도 않기도 한 부분도 있거든요. 이 얘기와 관련해서 공부하고 연구하고 박사논문을 쓰고 그런것이 그냥 심심해서나 하드웨어가 남아돌아서는 아니지않을까 합니다.
https://www.google.com/search?q=raid+abbreviation&oq=raid+abbreviation 우선 RAID라는것이 왜 생겼었는지를 들여다보면 스토리지의 값이 너무 어마무시했기때문이였습니다. 뭐 우리가 지금 길거리에서 만원이면 구매할 수 있는 계산기 정도의 수준인 컴퓨터 또한 천문학적인 연구비용으로 만들어지기도 했으니.... 하여간 레이드...
Redundant Array of Inexpensive Disks의 약자였죠. 싸이즈가 작고 안정성이 떨어지는 싸구려 디스크들 여러개를 묶어서 좀 안전하게 쓰기위한 수단이였던것이 레이드였고 컴퓨터 세계에서 그냥 텍스트만 저장하다가 그래픽과 사진들 그것도 완젼 초 고해상도 사진들 또 점점 음질이 좋은 음악들과 꿈도 못꾸었었던 해상도의 동영상까지 저장해두고 또 바로 실시간으로 그것을 찾아 보고 듣고 하는 시대가 다가오면서 조금 더 빠르게 쓰고 읽을 수 있는 스토리지가 필요하기도 했고 당시 데이터가 늘어나는 속도가 우리가 정작 필요한 저장공간을 받혀주는 기술을 따라가지 못하는 상황이 있으면서 레이드기술은 점점 발전하였고 더 많이 쓰이기 시작했었습니다.
그러다가 약간의 문제를 누군가가 발견합니다. 하드디스크의 용량이 늘어나면 늘어날 수록 그 큰용량에서 1비트의 에러가 생기는것에 대한 확률은 어마무시하게 커진다는거죠. 그래서 1테라바이트의 하드디스크로 레이드를 묶게 되면 레이드가 더이상 그리 추천하는 상황이 되지 못한다라는 얘기가 나옵니다. 물론 이것에대한 대비책이나 해결책이 없는것은 아니겠지만 그냥 레이드를 100메가바이트 디스크들로 묶었거나 몇 기가바이트 디스크로 묶었을때와는 상황이 달라진다는 얘기죠. 언급하신것과 같이 리빋드 할때의 문제도 아주 심각하다는 논문들도 있고 그것을 좀더 쉽게 해석한 얘기들도 간단하게 구글하여 찾아 볼 수 있습니다.
https://www.google.com/search?q=why+raid+5+obsolete&oq=why+raid+5+obsolete 아주 평범하게 레이드5를 4개의 디스크로 묶어서 사용하다가 그중 하드디스크1개가 망가질때쯔음이 되면 나며지 3개의 하드디스크들도 망가질때가 되었다는 얘기이기도 한상황에서 1테라바이트의 디스크1개가 오류가 나서 디스크3개에 간신히 매달려있는 상황에 그 고장난 1테라바이트의 디스크를 교체하고 리빌드하는 상황에서 3개의 디스크중1개가 추가로 뻑이 나버리면 그전에 있던 데이터는 존재하지 않는 데이터가 되어버리는 상황이 되어버립니다 (리빌드하는 시간이 너무 오래걸리다보니까 더욱 더 위험하다는). 물론 백업을 받아놓았다면 아주 큰 문제까지는 없겠지만 백업이라는것이 언제나 최신데이터까지 되어있기란 또 쉬운일이 아니기때문에 뭐 이래저래 이상황까지 오는것은 그닥 좋은 상황은 아니라 저는 원하는 상황은 아닙니다. 꼭 이것뿐 아니라 왜 레이드가 시대에 맞지 않는지에 대한 요소들을 여러 연구기관에서 발견하기 시작했고 또 우리는 더 크고 더 싸고 더 빠른 저장장치들을 쉽게 구할 수 있게됩니다. 물론 이건 과거와 상대적인얘기일 뿐입니다.
레이드5의 경우 레이드에 묶인 디스크들 중 1개가 맛이 가면 바로 그걸 리빌드해줘야 하는데 만약 이 씨스템이 아주 활발하게 사용되는 멀티유져 동접 스토리지라고 하면 리빌드하는 하루이틀동안이나 혹은 그것보다도 더 오랫동안 쫄깃쫄깃한 심정의 맛을 봐야하는 데이터가 그스토리지에 있다는건 악몽일것같습니다 ㅠㅠ.
https://www.google.com/search?q=raid+5+speed+vs+single+drive&oq=raid+5+speed+vs+single+drive 요즘 컨트롤러들이 하도 좋아서리 레이드5의 속도가 엄청 좋아진것에 대해서는 100% 동의합니다만, 레이드5를 쓰기때문에 속도가 더 빨라진다라는것은 동의까지는 약간의 무리가 있긴합니다 (물론 저의 경우에는). 약간 중간에서 이것도 저것도 찬성할 수 없는 상황일것 같은데요. 레이드5의 읽기는 빠르긴 빠릅니다. 하지만 쓰기를 할때는 레이드페리티의 계산으로 인하여 단일하드디스크보다 더 느린것이 더 상식적이긴 한데 데이터의 성향이나 멀티유져들의 동접상황 등등에 따라 약간 다른 결과는 가능하지 않을까 합니다.
Cache싸이즈가 어떻고 또 데이터의 싸이즈가 어떠한지에 따라서 케쉬의 존재가 오히려 독이 될때도 있기때문에 데이터의 종류와 케쉬싸이즈 그리고 케쉬의 종류에 따라 결과가 아주 많이 다들 수 있기도 하고, 또한 쓰쓰디를 케쉬로 잘못쓰다가는 쓰쓰디가 제명을 다하지 못하는 경우도 있을 수 있으니 웨어레벨링이 적합하게 적용된 스토리지메니지먼트의 세팅과 적절한 스스디를 사용한다면 문제는 없겠습니다.
그리고... 레이드60의 최악의 사용용량은 전체 디스크용량의 50%입니다. 어떤식으로 세팅을 하여도 50%아래로는 떨어지지 않습니다.
RAID 기원 부터 ...
저는 1970년대 IBM 3350 모델 부터 써왔습니다. 직경이 30" 짜리 윈체스터 라고 불리워 지던 거의 지금의 세탁기 크기죠.
https://www.ibm.com/ibm/history/exhibits/storage/storage_3350.html 물론 현재의 3.5" disk 는 당시 HDD 와 비교하면 껌값 이니 뭐 99%를 parity 혹은 예비용으로 두어도 금액적으로는 전혀 문제가 없겠지요.
그러나 관점이 2CPU 회원 개인의 취미, 혹은 중소기업에서(600GB x 4대 정도) 타워형 HP, Dell server 에 DB를 구축하는 규모라고 생각하고 논쟁을 해야 할듯 합니다. 만일 굴지의 은행이 온 세계를 상대로 24시간 real time 으로 운영이 되고 그런 상황을 상정해서 이야기 한다면 좀 차원이 달라 져야 한다는 말씀 입니다. 무슨 4중 5중 클러스터링 시스템을 중복으로 갖추어 놓고... 실제로 기업에서도 4중 5중까지는 잘 채택되지 않고 있는 것으로 알고 있습니다.
또한 HDD 수명이 거의 다 되어서 망가지는 지경까지 계속 쓰면 안되겠죠. 어느 정도 수명이 되면 전부 교체하여야 하지 않을까요?
수명이 다 끝나가는 HDD 로 RAID 60, 10 를 한들 무슨 소용이 있겠습니까? 또 글러스터링 한 HDD 가 거의 수명이 다 되었다고 가정하면 정말로 non-stop system 을 운전이 가능 할까요? 그리고 Scrubbing 같이 bad track 이 나올것을 미리 가르쳐 주는 것도 있는 모양입니다.
좀 오래되긴 했어서 가정용으로 RAID 5 예찬론도 있군요.
https://louwrentius.com/raid-5-is-perfectly-fine-for-home-usage.html 1bit error 는 최악의 경우를 상정하여 위험성을 제시한 것이고...
실제 상황에서는 그보다는 훨씬 안전한 것으로 판단하는 사람도 있네요.
그래서 저는 1 disk error 가 나면, 바로 새 disk 를 넣고 rebuild 하지 않고, 우선 backup 부터 합니다.
그리고 backup 이 끝나면, 그때 서야 새 disk 를 넣어서 rebuild 를 시키는 거죠.
제가 쓴 글에 "총 용량에 40% 미만만 사용한다는 자부심에는 좋을지도.."
typo 였습니다. 50% 를 쓴다는 것이..
>> 제가 쓴 글에 "총 용량에 40% 미만만 사용한다는 자부심에는 좋을지도.."
>> typo 였습니다. 50% 를 쓴다는 것이..
"총 용량에 50% 미만만 사용한다는 자부심에는 좋을지도.."
4를 5로 바꾸어 써도 더 고쳐야 하는 내용은 있습니다.
"총 용량에 50% 이상을 사용한다는 자부심에는 좋을지도.." 약간 문장이 이상해서리... 제가 한국어랑 영어랑 같이 쓰다보니 한국어에 좀 약합니다.
아니면 "총 용량에 50% 미만을 버려야 한다는 자부심에????" 이건도 좀...
그리고 하드디스크의 수명이 언제 정도가 정당한지...
"제 경우는 도시바 3TB HDD 16개를 RAID 5로 묶어서 5년째 data 보관용 으로 쓰고 있습니다." 라고 하신건 5년동안 하드디스크 그대로 안쓰고 계속 바꿔주고 계시다는 뜻이 내포 되어있다고 생각하겠습다. 근데 시놀러지에서 제공하는 레이드계산기를 사용하더라도 지금 사용하시는 레이드5세팅 정도는 아예 계산이 안되게 되어있습니다. 레이드가제공하는 리던던씨를 거의 제공하지 않는 상태인거 같아 보이거든요.
하여간 저라면 3테라바이트 추가 또는 6테라바이트 추가 보다는 데이터의 안정성을 더 고려하겠습니다. 물론 제가 첫 댓글에서 언급했던 그런건 그냥 말도 안되는거지만 가능은 하다고 해당댓글에서도 얘기는했었듯이 그렇게 오바까지는 아니라도 8개의 하드디스크를 스토리지서버에 넣어 쓰면서 50%의 리던던씨를 세팅하지 못할꺼라면 좀 다른 솔루션을 쓰는것이 더 맞을듯합니다. 과학으로 밝혀진 지식보다 이런 경우를 얘기하는 사람도 있다라고 하는것은 지금 트럼프가 코로나19에 대하여 주장하고 있는 것 처럼 위험한것 같습니다. 저는 4테라의 디스크 공간에 저의 인생이 다 들어있습니다. 하다못해 제가 20대에 듣던 음악까지... 저도 평범한 컴퓨터 유져는 아니라고 생각하는데 45테라바이트의 데이터스토리지 공간의 이상이 필요한분들이야 분명 평범한 컴퓨터 유져는 아닐것이라고 생각은 하지만 또 제가 틀릴 수 있기도 하니까 모든 가능성의 문은 열어두는것이 맞을것 같기도 합니다.
"총 용량에 50% 미만만 사용한다는 자부심에는 좋을지도.." 요렇게 쓸것을 잘못 썼다는 이야기 입니다.
저도 지금 일리노이에 있어서 국문(?)이 서툴게 표현된 모앙입니다. 나무만 보지 마시고 숲을 보시는 지혜를 발휘하여 보시면 어떨까 제안해 봅니다.
3TB x 16개의 Raid 5 구성에 대하여 이견이 있으신것 같은데..
레이드 계산을 제공하는 웹페이지는 시놀로지에서 제공하는 것만 있는 것은 아닙니다. 세상은 넓고 모르고 계신 지식은 많습니다.
RAID Calculator 웹 페이지를 보시면 (http://www.raid-calculator.com/default.aspx) 16개 x 3Tb RAID5 를 입력하시면 Capacity 45 TB 라고 나옵니다.
3TB x 16개의 Raid 5 구성은 Adaptec Raid 51245 에 묶인 것입니다.
만일 5년전에 40TB 의 contents 를 보관하고 싶었다면 무슨 solution 을 사용하였겠나 도 생각해 보십시요.
당시 제일 용량이 큰 HDD가 6TB 혹은 8TB 정도였고, 그런 대용량은 TB 당 단가가 무지 비쌌을 테니까요.
지금까지 DISK 16개 중 1개가 문제를 일으켜서 갈아 끼운적이 있을 뿐, 아무 문제 없이 아직까지 contents 는 잘 보관 되어 있습니다.
잘 못 이해하시는 것 같은데, 상기 Raid 는 항상 on-line 이 되어서 매 초당 몇십 건씩 수 십만 user 가 access 하는 상황이 아니랍니다.
그저 Backup 용도로 구축하였다가, 혹시 필요할 때 가끔 한번씩 access 하는 것이지요.
50%의 리던던시를 쓰시고 싶으시면 본인은 그렇게 하십시요.
다만 그것 만이 정답이 아니라는 거죠. 제 생각은 그것만이 정답이라는 생각은 틀린 것이라는 거죠.
혹시 다른 분 들이 그것 만이 정답인 줄 알고 50% 리던던시를 꼭 필요하다고 오해할 까봐 이렇게 글을 쓰는 것입니다.
분명히 저는 5년간 16 HDD 를 Raid 5로 묶어서 아직 잘 사용한다는 것입니다. 뭐 내일 당장 깨질지도 모르지만...
그래서 다른 Raid 에 Backup 을 해두는 거죠.
잘 아시겠지만 Backup 한 Raid 는 전원을 꺼 두니까 왠만하면 잘 안깨지겠지요?
논문을 운운하셨던데.. 잘 아시죠? 어떤 경위로 논문이 쓰여지고 채택이 되는지. 어느 일면만 강조하여 보고 그 것을 주장하여 퍼블리셔가 채택하면 그것이 논문이죠. 네이쳐지 같은곳 이라면 모를까..
인생이 전부 들어있는 용량이 4TB 만 된다면 무었이 문제 이겠습니까?
금액적으로 10만원 쯤하는 4TB HDD 5개 정도를 구입하여 중복으로 복사하여 놓고, 하나는 집에 하나는 사무실,
하나는 미국에 친척 집에 이렇게만 보관하여도 훌륭한 solution 이 되질 않겠습니까?
지진이 나도, 전쟁이 나도 하나는 살아 남을테니... 그래 봤자 50만원의 예산이면 충분하지 않을 까요?
따라서 Raid 까지 동원 할 특별한 필요가 없다고 봅니다.
Single Disk 의 경우가 제일 안정성이 높다고 생각합니다. RAID 는 아무래도 controller H/W, OS 와의 불일치 등 불안한 요소가 더 추가되죠.
제 경우는 계속하여 contents 가 쌓여서 지금 현재는 100TB 정도의 안정성이 보장되는 storage 가 필요합니다.
그래서 지금까지 최근 10년 정도에..
Adaptec 5805 Raid 5: 2TB x 5개
Adaptec 51205 Raid 5: 3TB x 12 개
Adaptec 52445 Raid 5: 3TB x 16개
Adaptec 71605 Raid 5: 3TB x 4개
Adaptec 71605 Raid 5: 6TB x 8개
Adaptec 78165 Raid 5: 4TB x 8개
Adaptec 71605 Raid 5: 8TB x 12개
Synology DS1513+ Raid 5: 8TB x 5개
Synology DS1819+ Raid 5: 12TB x 8개
를 쓰게 되었습니다.
실제로 꼭 보관 되어야하는 contents 는 약 100TB 미만이고 나머지는 backup 용도가 되었습니다.
정말 중요한 contents 는 미국에도 한 copy 와 있습니다. 한 10년 정도 contents 를 모으다 보니 이렇게 되었네요.
2CPU 에는 저보다 더 평범한 수십 TB를 다루는 user 가 꽤 있다고 보시면 됩니다.
분명히 이것 들을 RAID 5로 잘 운영하시는 분들이 많이 계시죠. 당연히 Backup 을 잘 하시고 계시고...
RAID 5 의 경우, 뭐 human error 로 깨질수는 있지만, 그 이외에는 생각하시는 것처럼 1bit error 확율 때문에 바람 앞에 등불 처럼 위험하지는 않답니다. => 실제 경험에서 말씀 드리는 겁니다. (다른 분들은 다를 수가 있지요..)
일리노이에 계시는군요 ㅎㅎ... 반갑습니다.
저도 한때 UIUC에 있었는디... 시카고에 있는 조선옥에 갔다가 어바나삼페인으로돌아갈때 캔커키쯔음을 지날때 길옆으로 마구 쏱아지던 번개가 갑자기 생각납니다.
1970년대 부터 컴퓨터를 쓰셨다면 저 보다는 훨씬 연배가 위신것 같습니다. 세상엔 정말 정답이 없는 것들도 많고 무엇이 정답인지 모르는 것들도 많으며 조금 무엇인가를 알게되어 분야를 좀 이해한다고 생각을 하며 기뻐했다가도 더 심각한 데드엔드에 도달하게 되고... 또 이렇게 별것아닌것 같은 내용을 가지고 얘기를 나누다보면 서로의 뜻이 상대에게 얼마나 정확하지 않게 전해지는지를 느끼게 되기도 합니다. 저의 언어표현 능력을 의심하게 만드는 경우가 많습니다. 또 한편으로 한국어가 표현에서는 약간 더 불분명한 부분이 많다고도 느끼는것도 사실입니다. 자꾸 오해가 커지는것 같은 기분이 들기도 하면서 무슨 피씽콘테스트를 하는것 같기도 하고요. 그런 부분 죄송합니다. 무엇인가 더 크게 봐야 보이는 부분이 있는지 조차도 잘 모를 정도의 수준이라고 생각하시면 됩니다. 제가 모르는것 빼고 다안다고 자부하긴하지만, 아마 모르는것이 우주와 지구전체싸이즈라고 하면 제가 아는것은 미국에 있는 도시외곽 작은 타운의 20분의1 정도의 내용도 안될것이라 생각하는데 제가 저의 생각이 정답이고 단하나의 가능성이라고 우기는것처럼 느껴지셨다면 그부분 또한 제가 모자라는 부분이니 죄송합니다. 좀 더 오픈마인드를 가져보도록 노력해야죠 뭐...
"총 용량에 50% 미만만 사용한다는 자부심에는 좋을지도.." 이부분에서 제가 뜻하던것은 레이드60를 쓸때 최악의 경우의 수가 50%의 디스크 용량을 쓰는것이기때문에 총 용량의 50% 미만을 사용하기는 (디스크인포가잡아먹는것을제외한다면) 불가능하기때문에 말이 이상하다고 한것이였습니다. 그러니까 레이드60의 경우 총 용량의 50% 이상을 사용하게 되니까요.
그리고 제가 시놀러지페이지를 예를 든것은 시놀러지에서는 그런 세팅을 권장하지 않기때문에 계산기에 포함도 안되어있다는 뜻이였습니다. 저는 그냥 단순히 남들이 확률등등 계산해서 적어놓은 글들이 그래도 저보다 잘아는 사람들이 계산하고 적어놓고 인증되고 했다고 생각한부분도 있지만 계속 문제 없이 시스템을 사용하고 계시는 분들의 경우를 그냥 좀 위험한것 같다라고 생각했던것이였습니다. 그리고 그냥 저의 경우에는 그정도의 리스크를 테이크하지 않겠다는 의미였구요. 절대로 저의 방식이나 저의 생각이 정답이다라는것도 아니고 우리모두 다같은 생각을 하고 있어야 한다고 생각도 하지 않습니다. 레이드5에 관해서는 위험성에 대한 글들을 지난 십여년간 많이 접해보아서 그런지 레이드5에 디스크가 5개를 초과한 세팅을 보면 알러지반응이 있는것 같습니다.
말씀하신대로 저의 4테라에서 조금 샤이한 저의 개인데이터는 레이드같은거 없이 그냥 제컴퓨터안 에스에스디에 나뉘어져있고 4테라 유에스비에 백업해서 그냥 제 책상위에 뒹굴고 있습니다. 그나마 좀 중요한것 같은 파일들은 유료원드라이브스토리지에 들어있구요.
하지만 개인데이터 말고 제가 서비스하는 서버의 경우 24x7 온라인 시스템들이고 어느정도 크리티컬하며 많은사람들이 동접하기도 하는 시스템들이라 최악의 경우를 맞이 하지 않기위하여 겹겹으로 해놓기는 했네요... 좀 오바일 수 있겠지만 제가 96년부터 근무하던 회사들 모두 그것이상의 로버스트니스를 갖추었던걸로 기억합니다. 이것도 모두 정답은 없는 내용이라는 점 이해하겠습니다. 또 그냥 확률적인 계산일뿐인거죠 뭐...
그나저나일리노이어디계셔요? 저는 원래 본가가뉴져지인데 다니다말은 대학원 다닐때 일리노이에 있었구요...
RAID5 로 구성된 볼륨은 단일 디스크 볼륨에 비해서 언제나 상대적으로 느린 속도를 갖습니다.
H/W RAID card를 사용해도 이 카드의 성능이 아무리 좋와도 결과는 동일하게 단일 디스크 볼륨에 비해서 언제나 느린 속도를 갖습니다.
님께서 말씀 하시는 속도 늦음이 어느 정도인가에 따라서 달라집니다만
보통의 경우 8-90% 성능을 갖게 됩니다.
RAID5 를 위한 패리티 계산 속도가 HDD의 쓰루풋 보다 낮기때문 입니다.
지속적인 Write 또는 Read가 일때에는 캐쉬를 사용해도 히트레이트가 낮아지기때문에 여전히 상대적으로 느리게 됩니다.
캐쉬를 사용한 속도 향샹은 단일 디스크 볼륨에 대해서도 동일 하기때문이죠.
RAID 5 에 MS SQL 을 사용하는 경우에, 정말 단일 볼륨보다 늦을까요?
분명히 HDD 여러개에 I/O 분산이 될텐데...
동일한 access 를 한다는 전제 아래, HDD 여러개에 나뉘서 저장이 되면 HDD 의 seek 거리도 짧아지고 data transfer time 도 1/n 으로 줄어 들텐데..
RAID Card 는 꼭 Adaptec 7 series 이상을 경험해 보시기 바랍니다. 이 회사가 다른데로 넘어가고 그래서 좀 거시기 하긴 합니다.
그리고 뒤에 Q 가 붙는 모델은 SSD Cache 기능이 있습니다.
아마도 DB 같은 것을 써야하는 상황이면 HDD 크기가 600GB x 3 = 1.8TB 정도니까 500GB 정도 크기의 SSD Cache 가 있는 편이 유리 할 듯 합니다만...
그리고 DB의 경우 1.8TB 정도 크기라면 U.2 SSD 2TB 짜리를 하나 도입하여 통째로 SSD 에 넣고 돌리는 것이 마음도 편하고 경제적으로 매리트가 있습니다.
현재 ebay 에서 U.2 SSD 2TB (Intel DC P4600 2TB) 정도면 4~500불 이면 충분히 구입이 가능합니다.
혹시 BBU가 없거나 배터리 방전이 되어도 속도 보장을 위해서는 raid write back cache without battery 옵션을 강제로 활성화 해 보시기 바랍니다.
2. 하루 정도 지나서 Rebuild 완료 된상태로 속도 확인.
기타. Windows OS에서 MDF, LDF가 있는 드라이브의 파일 시스템의 블록 사이즈는 크게(ex 64K) 설정 해 주시면 속도 향상이 있습니다.(기본 512 or 4K로는 하지 않는 것을 권장 합니다.)
따 봉 !
답변 주신 전문가분들 감사합니다.
RAID5에 대해서 조금만 들어가본다면 현대시대에 맞지 않는 RAID레벨이라는 내용을 쉽게 찾을 수 있습니다. 하다못해 Deprecated 라고 하는 설명도 있지요.
하다못해 얼마전엔 RAID5를 수십개의 디스크로 구성해놓은 씨스템에 대한 얘기가 투씨퓨에 있었는데요. RAID5의 경우 3개의 디스크만 쓰는것도 벌써 너무 많은 디스크를 사용하고 있다고 RAID5에 대해서 설명할때 내용이 나옵니다.
실제로 Critical 한 시스템들이 이렇게 세팅 안되어있기를 기원합니다. 테스트나 경험적인 용도로는 뭐 세팅하는것 반대 절대로 안합니다만....
저라면 1 대의 하드웨어 서버의 스토리지인 경우에는 스토리지의 안전을 위하여 RAID를 쓰겠습니다. RAID1, RAID10, RAID60 .... 이런식으로 쓰겠습니다. 이것은 어디까지나 저는 그렇게 쓴다는 이야기일뿐 선호도나 필요에 따라서 다른 레벨의 레이드를 쓸 수 있겠지요.
레이드가 없어지면서 (수학적으로 계산된 결과에 의하여) 컴퓨터의 가격도 많이 저렴해졌기때문에 스토리지 클러스터가 생겨나기 시작했습니다. 그래서 좀 큰 스토리지 또는 서버의 경우 그냥 클러스터링으로 가는 경우가 허다해졌습니다. 수십대 또는 그이상의 컴퓨터들을 클러스터로 만들어서 사용하는데 하이어벨러빌리티 클러스터링을 용도에 따라 묶어서 1개의 씨스템이 정말 죽으려면 그 클러스터에 묶여있는 컴퓨터들의 50%가 죽어야 가능한경우 25프로가 죽어야 하는경우 90프로가 죽어야 하는 경우 등등등 세팅하기 나름이겠죠. 로버스트니스에 중점을 두느냐 아니면 퍼포먼스에 중점을 두느냐 이것에 따라서 다르겠지요. 물론 스토리지 용량의 크기도 그것과 똑같습니다. 만약 1테라 스토리지가 들어있는 컴퓨터 100대를 묶어 놓고 어느정도의 안정성 버퍼를 두느냐에 따라서 1개만 죽어도 데이터가 날라갈 수 있는 씨스템과 99개가 죽어도 데이터가 살아있는 경우중 세팅을 다르게 할 수 있겠습니다. 100대를 묶어두고 스피드와 안전성을 위하여 1테라의 저장공간을 탄탄하게? ㅋㅋ 이건 미친짓이겠지만요...
레이드의 안정성이나 레이드와 대용량하드디스크에 대한 글들을 찾아보시면 내용이 좀 있을것입니다.
2CPU 내에 개인의 storage 를 구성할 경우에는 그렇게 클러스터를 구성할 수도 없고, 해 봤자 2대 클러스터링이 최고가 아닐까 생각이 드는 군요.
무슨 3대 중 2대가 죽어도 운영 가능한 시스템을 개인의 취미로 가동하는 사람은 없을 테니까요.
일단 RAID 5 무지 좋습니다. 그리고 잘 쓰면 정말 안전합니다.
물론 하드웨어 RAID Card, 예를 들면 Adaptec 71605 같은 것에 BBU 걸고 쓰면 정전에도 거의 error 없이 넘어갑니다.
Adaptec 71605 에 BBU 있는 것도 ebay 에서 $50 미만으로 구입이 가능합니다.
속도 도 끝내 줍니다. (물론 Write back cache on 인 상태로..)
HDD 5개 Raid 5 구성하면, 반드시 HDD 4개 striping 한 속도가 나오는 것이 정상입니다.
제 경우는 도시바 3TB HDD 16개를 RAID 5로 묶어서 5년째 data 보관용 으로 쓰고 있습니다.
HDD 가 구형이라서 R/W 속도는 500 MB/s 이상 뽑아 줍니다.
최근에 8TB x 12개를 Raid 5 로 묶었는데, 이 경우는 1000 MB/s 는 가볍게 넘습니다.
제 경우 RAID 5 의 HDD 가 1개 Error 가 나오면 HDD 를 새것으로 교체 하기전에, 무조건 Backup 부터 합니다.
한 2~3일 걸려서 Backup 이 끝나면, 그때 고장난 HDD 를 바꾸어서 re-build 시킵니다.
re-build 가 성공하면 계속 사용하고, 실패하더라도 새로 RAID 5 format 을 한 후에 (한 2~3일 걸리죠) Backup 된 data 를 다시 restore 합니다.
물론 제가 무슨 뱅킹 시스템을 돌리는 host 역할을 하는 것도 아니어서, 전혀 문제가 없습니다.
그리고 HDD 선택을 잘 해야 합니다. 될 수 있으면 조용하고 enterprise type 으로...
HGST 6TB x 12개 RAID 5 도 있는데, 너무 시끄러워서 옥탑방에 쳐박아 두었습니다.
아무래도 시끄럽다는 것은 수명에도 좋지 않을 것이라고 추측하고 있습니다.
이제 현실적으로 HDD 가격에 대해서 이야기 해봅시다.
지금 8TB 이면 거의 25만원이 넘습니다. 그걸 10개 사면 250만원..
그런데 9개가 죽어도 살아나는 storage 구성을 하면 250만원을 들여서 8TB storage 를 쓴다는 말이 됩니다.
정말로 기업에서도 이런 미친짓은 하지 않습니다. 달나라에 우주 로켓을 발사하는 시스템에서도 이렇게 까지야 말이 않됩니다.
개인은 10개 중 1개가 parity 로 되고 9개(72TB)를 storage 로 써도 8TB 가 아까운 지경입니다.
아주 너그럽게 보아서 RAID 6 까지는 해서 2개를 parity 로 희생하고 64TB 까지는 참을 수도 있겠죠.
아마 클러스터링 몇 세트 운운하는 업체는 HDD 를 포함한 H/W 를 많이 팔려고 하는 장사 심뽀가 많이 들어가 있다고 생각됩니다.
경우에 따라 깨져도 몇 시간 이내에 복구가 가능하도록 시스템을 갖추고 있어야 하죠.
즉 매일 아침 온라인 개시시간 이전에 full backup 을 하여 놓고, 매 transaction 마다 BI, AI 등의 log 를 기록하고 있다가, 무슨 사건이 터져서 storage 복구를 하려면 HDD 를 교환하고, 아침에 backup 한 것으로 full restore 하고, 그날 중에 log 를 update 하여서 정상화 한다던가 하는 것입니다.
어째던 복구에 많은 자원을 투자하여 그만 큼 뽑을 가치가 있는 시스템 이라고 하면 50% 정도는 parity 혹은 여유로 둘 수는 있겠으나, 75%를 여유로 둔다던가 하는 것은 아무래도 over spec 이라고 생각합니다.
2CPU 개인 회원은 데이터 복구를 위해서 99%가 죽어도 데이터가 살아야하는 그런 경우는 잘 없을 것으로 생각합니다.
RAID 60 뭐 이런꺼 써서 좋은 일 있습니까? (총 용량에 40% 미만만 사용한다는 자부심에는 좋을지도...)
H/W failure 보다는 Human error 가 data 를 날려 먹을 확율이 훨씬 높습니다.
뭐 backup 한답시고 restore 해서 깨먹고, 엉뚱한 data 복사해서 깨먹고...
막 HDD 에 쓰기를 진행 중에 있는데, 전원을 덜컥 내려 버리고 등이죠...
이런 Human error 는 RAID 60 아니라 그 할애비를 해 놔도 소용이 없을 수가 있습니다.
대부분 맞는 말씀이시긴합니다.
그래도 꼭 무슨 뱅킹 시스템 제안서에서나 나오는 이야기는 아닙니다. 제가 언급한 것이 조금 에바라고 할 수 있기도 하겠지만 또 한편으로 그렇지도 않기도 한 부분도 있거든요. 이 얘기와 관련해서 공부하고 연구하고 박사논문을 쓰고 그런것이 그냥 심심해서나 하드웨어가 남아돌아서는 아니지않을까 합니다.
https://www.google.com/search?q=raid+abbreviation&oq=raid+abbreviation
우선 RAID라는것이 왜 생겼었는지를 들여다보면 스토리지의 값이 너무 어마무시했기때문이였습니다. 뭐 우리가 지금 길거리에서 만원이면 구매할 수 있는 계산기 정도의 수준인 컴퓨터 또한 천문학적인 연구비용으로 만들어지기도 했으니.... 하여간 레이드...
Redundant Array of Inexpensive Disks의 약자였죠. 싸이즈가 작고 안정성이 떨어지는 싸구려 디스크들 여러개를 묶어서 좀 안전하게 쓰기위한 수단이였던것이 레이드였고 컴퓨터 세계에서 그냥 텍스트만 저장하다가 그래픽과 사진들 그것도 완젼 초 고해상도 사진들 또 점점 음질이 좋은 음악들과 꿈도 못꾸었었던 해상도의 동영상까지 저장해두고 또 바로 실시간으로 그것을 찾아 보고 듣고 하는 시대가 다가오면서 조금 더 빠르게 쓰고 읽을 수 있는 스토리지가 필요하기도 했고 당시 데이터가 늘어나는 속도가 우리가 정작 필요한 저장공간을 받혀주는 기술을 따라가지 못하는 상황이 있으면서 레이드기술은 점점 발전하였고 더 많이 쓰이기 시작했었습니다.
그러다가 약간의 문제를 누군가가 발견합니다. 하드디스크의 용량이 늘어나면 늘어날 수록 그 큰용량에서 1비트의 에러가 생기는것에 대한 확률은 어마무시하게 커진다는거죠. 그래서 1테라바이트의 하드디스크로 레이드를 묶게 되면 레이드가 더이상 그리 추천하는 상황이 되지 못한다라는 얘기가 나옵니다. 물론 이것에대한 대비책이나 해결책이 없는것은 아니겠지만 그냥 레이드를 100메가바이트 디스크들로 묶었거나 몇 기가바이트 디스크로 묶었을때와는 상황이 달라진다는 얘기죠. 언급하신것과 같이 리빋드 할때의 문제도 아주 심각하다는 논문들도 있고 그것을 좀더 쉽게 해석한 얘기들도 간단하게 구글하여 찾아 볼 수 있습니다.
https://www.google.com/search?q=why+raid+5+obsolete&oq=why+raid+5+obsolete
아주 평범하게 레이드5를 4개의 디스크로 묶어서 사용하다가 그중 하드디스크1개가 망가질때쯔음이 되면 나며지 3개의 하드디스크들도 망가질때가 되었다는 얘기이기도 한상황에서 1테라바이트의 디스크1개가 오류가 나서 디스크3개에 간신히 매달려있는 상황에 그 고장난 1테라바이트의 디스크를 교체하고 리빌드하는 상황에서 3개의 디스크중1개가 추가로 뻑이 나버리면 그전에 있던 데이터는 존재하지 않는 데이터가 되어버리는 상황이 되어버립니다 (리빌드하는 시간이 너무 오래걸리다보니까 더욱 더 위험하다는). 물론 백업을 받아놓았다면 아주 큰 문제까지는 없겠지만 백업이라는것이 언제나 최신데이터까지 되어있기란 또 쉬운일이 아니기때문에 뭐 이래저래 이상황까지 오는것은 그닥 좋은 상황은 아니라 저는 원하는 상황은 아닙니다. 꼭 이것뿐 아니라 왜 레이드가 시대에 맞지 않는지에 대한 요소들을 여러 연구기관에서 발견하기 시작했고 또 우리는 더 크고 더 싸고 더 빠른 저장장치들을 쉽게 구할 수 있게됩니다. 물론 이건 과거와 상대적인얘기일 뿐입니다.
레이드5의 경우 레이드에 묶인 디스크들 중 1개가 맛이 가면 바로 그걸 리빌드해줘야 하는데 만약 이 씨스템이 아주 활발하게 사용되는 멀티유져 동접 스토리지라고 하면 리빌드하는 하루이틀동안이나 혹은 그것보다도 더 오랫동안 쫄깃쫄깃한 심정의 맛을 봐야하는 데이터가 그스토리지에 있다는건 악몽일것같습니다 ㅠㅠ.
https://www.google.com/search?q=raid+5+speed+vs+single+drive&oq=raid+5+speed+vs+single+drive
요즘 컨트롤러들이 하도 좋아서리 레이드5의 속도가 엄청 좋아진것에 대해서는 100% 동의합니다만, 레이드5를 쓰기때문에 속도가 더 빨라진다라는것은 동의까지는 약간의 무리가 있긴합니다 (물론 저의 경우에는). 약간 중간에서 이것도 저것도 찬성할 수 없는 상황일것 같은데요. 레이드5의 읽기는 빠르긴 빠릅니다. 하지만 쓰기를 할때는 레이드페리티의 계산으로 인하여 단일하드디스크보다 더 느린것이 더 상식적이긴 한데 데이터의 성향이나 멀티유져들의 동접상황 등등에 따라 약간 다른 결과는 가능하지 않을까 합니다.
Cache싸이즈가 어떻고 또 데이터의 싸이즈가 어떠한지에 따라서 케쉬의 존재가 오히려 독이 될때도 있기때문에 데이터의 종류와 케쉬싸이즈 그리고 케쉬의 종류에 따라 결과가 아주 많이 다들 수 있기도 하고, 또한 쓰쓰디를 케쉬로 잘못쓰다가는 쓰쓰디가 제명을 다하지 못하는 경우도 있을 수 있으니 웨어레벨링이 적합하게 적용된 스토리지메니지먼트의 세팅과 적절한 스스디를 사용한다면 문제는 없겠습니다.
그리고... 레이드60의 최악의 사용용량은 전체 디스크용량의 50%입니다. 어떤식으로 세팅을 하여도 50%아래로는 떨어지지 않습니다.
저는 1970년대 IBM 3350 모델 부터 써왔습니다. 직경이 30" 짜리 윈체스터 라고 불리워 지던 거의 지금의 세탁기 크기죠.
https://www.ibm.com/ibm/history/exhibits/storage/storage_3350.html
물론 현재의 3.5" disk 는 당시 HDD 와 비교하면 껌값 이니 뭐 99%를 parity 혹은 예비용으로 두어도 금액적으로는 전혀 문제가 없겠지요.
그러나 관점이 2CPU 회원 개인의 취미, 혹은 중소기업에서(600GB x 4대 정도) 타워형 HP, Dell server 에 DB를 구축하는 규모라고 생각하고 논쟁을 해야 할듯 합니다. 만일 굴지의 은행이 온 세계를 상대로 24시간 real time 으로 운영이 되고 그런 상황을 상정해서 이야기 한다면 좀 차원이 달라 져야 한다는 말씀 입니다. 무슨 4중 5중 클러스터링 시스템을 중복으로 갖추어 놓고... 실제로 기업에서도 4중 5중까지는 잘 채택되지 않고 있는 것으로 알고 있습니다.
또한 HDD 수명이 거의 다 되어서 망가지는 지경까지 계속 쓰면 안되겠죠. 어느 정도 수명이 되면 전부 교체하여야 하지 않을까요?
수명이 다 끝나가는 HDD 로 RAID 60, 10 를 한들 무슨 소용이 있겠습니까? 또 글러스터링 한 HDD 가 거의 수명이 다 되었다고 가정하면 정말로 non-stop system 을 운전이 가능 할까요? 그리고 Scrubbing 같이 bad track 이 나올것을 미리 가르쳐 주는 것도 있는 모양입니다.
좀 오래되긴 했어서 가정용으로 RAID 5 예찬론도 있군요.
https://louwrentius.com/raid-5-is-perfectly-fine-for-home-usage.html
1bit error 는 최악의 경우를 상정하여 위험성을 제시한 것이고...
실제 상황에서는 그보다는 훨씬 안전한 것으로 판단하는 사람도 있네요.
그래서 저는 1 disk error 가 나면, 바로 새 disk 를 넣고 rebuild 하지 않고, 우선 backup 부터 합니다.
그리고 backup 이 끝나면, 그때 서야 새 disk 를 넣어서 rebuild 를 시키는 거죠.
제가 쓴 글에 "총 용량에 40% 미만만 사용한다는 자부심에는 좋을지도.."
typo 였습니다. 50% 를 쓴다는 것이..
>> typo 였습니다. 50% 를 쓴다는 것이..
"총 용량에 50% 미만만 사용한다는 자부심에는 좋을지도.."
4를 5로 바꾸어 써도 더 고쳐야 하는 내용은 있습니다.
"총 용량에 50% 이상을 사용한다는 자부심에는 좋을지도.." 약간 문장이 이상해서리... 제가 한국어랑 영어랑 같이 쓰다보니 한국어에 좀 약합니다.
아니면 "총 용량에 50% 미만을 버려야 한다는 자부심에????" 이건도 좀...
그리고 하드디스크의 수명이 언제 정도가 정당한지...
"제 경우는 도시바 3TB HDD 16개를 RAID 5로 묶어서 5년째 data 보관용 으로 쓰고 있습니다." 라고 하신건 5년동안 하드디스크 그대로 안쓰고 계속 바꿔주고 계시다는 뜻이 내포 되어있다고 생각하겠습다. 근데 시놀러지에서 제공하는 레이드계산기를 사용하더라도 지금 사용하시는 레이드5세팅 정도는 아예 계산이 안되게 되어있습니다. 레이드가제공하는 리던던씨를 거의 제공하지 않는 상태인거 같아 보이거든요.
하여간 저라면 3테라바이트 추가 또는 6테라바이트 추가 보다는 데이터의 안정성을 더 고려하겠습니다. 물론 제가 첫 댓글에서 언급했던 그런건 그냥 말도 안되는거지만 가능은 하다고 해당댓글에서도 얘기는했었듯이 그렇게 오바까지는 아니라도 8개의 하드디스크를 스토리지서버에 넣어 쓰면서 50%의 리던던씨를 세팅하지 못할꺼라면 좀 다른 솔루션을 쓰는것이 더 맞을듯합니다. 과학으로 밝혀진 지식보다 이런 경우를 얘기하는 사람도 있다라고 하는것은 지금 트럼프가 코로나19에 대하여 주장하고 있는 것 처럼 위험한것 같습니다. 저는 4테라의 디스크 공간에 저의 인생이 다 들어있습니다. 하다못해 제가 20대에 듣던 음악까지... 저도 평범한 컴퓨터 유져는 아니라고 생각하는데 45테라바이트의 데이터스토리지 공간의 이상이 필요한분들이야 분명 평범한 컴퓨터 유져는 아닐것이라고 생각은 하지만 또 제가 틀릴 수 있기도 하니까 모든 가능성의 문은 열어두는것이 맞을것 같기도 합니다.
저도 지금 일리노이에 있어서 국문(?)이 서툴게 표현된 모앙입니다. 나무만 보지 마시고 숲을 보시는 지혜를 발휘하여 보시면 어떨까 제안해 봅니다.
3TB x 16개의 Raid 5 구성에 대하여 이견이 있으신것 같은데..
레이드 계산을 제공하는 웹페이지는 시놀로지에서 제공하는 것만 있는 것은 아닙니다. 세상은 넓고 모르고 계신 지식은 많습니다.
RAID Calculator 웹 페이지를 보시면 (http://www.raid-calculator.com/default.aspx)
16개 x 3Tb RAID5 를 입력하시면 Capacity 45 TB 라고 나옵니다.
3TB x 16개의 Raid 5 구성은 Adaptec Raid 51245 에 묶인 것입니다.
만일 5년전에 40TB 의 contents 를 보관하고 싶었다면 무슨 solution 을 사용하였겠나 도 생각해 보십시요.
당시 제일 용량이 큰 HDD가 6TB 혹은 8TB 정도였고, 그런 대용량은 TB 당 단가가 무지 비쌌을 테니까요.
지금까지 DISK 16개 중 1개가 문제를 일으켜서 갈아 끼운적이 있을 뿐, 아무 문제 없이 아직까지 contents 는 잘 보관 되어 있습니다.
잘 못 이해하시는 것 같은데, 상기 Raid 는 항상 on-line 이 되어서 매 초당 몇십 건씩 수 십만 user 가 access 하는 상황이 아니랍니다.
그저 Backup 용도로 구축하였다가, 혹시 필요할 때 가끔 한번씩 access 하는 것이지요.
50%의 리던던시를 쓰시고 싶으시면 본인은 그렇게 하십시요.
다만 그것 만이 정답이 아니라는 거죠. 제 생각은 그것만이 정답이라는 생각은 틀린 것이라는 거죠.
혹시 다른 분 들이 그것 만이 정답인 줄 알고 50% 리던던시를 꼭 필요하다고 오해할 까봐 이렇게 글을 쓰는 것입니다.
분명히 저는 5년간 16 HDD 를 Raid 5로 묶어서 아직 잘 사용한다는 것입니다. 뭐 내일 당장 깨질지도 모르지만...
그래서 다른 Raid 에 Backup 을 해두는 거죠.
잘 아시겠지만 Backup 한 Raid 는 전원을 꺼 두니까 왠만하면 잘 안깨지겠지요?
논문을 운운하셨던데.. 잘 아시죠? 어떤 경위로 논문이 쓰여지고 채택이 되는지. 어느 일면만 강조하여 보고 그 것을 주장하여 퍼블리셔가 채택하면 그것이 논문이죠. 네이쳐지 같은곳 이라면 모를까..
인생이 전부 들어있는 용량이 4TB 만 된다면 무었이 문제 이겠습니까?
금액적으로 10만원 쯤하는 4TB HDD 5개 정도를 구입하여 중복으로 복사하여 놓고, 하나는 집에 하나는 사무실,
하나는 미국에 친척 집에 이렇게만 보관하여도 훌륭한 solution 이 되질 않겠습니까?
지진이 나도, 전쟁이 나도 하나는 살아 남을테니... 그래 봤자 50만원의 예산이면 충분하지 않을 까요?
따라서 Raid 까지 동원 할 특별한 필요가 없다고 봅니다.
Single Disk 의 경우가 제일 안정성이 높다고 생각합니다. RAID 는 아무래도 controller H/W, OS 와의 불일치 등 불안한 요소가 더 추가되죠.
제 경우는 계속하여 contents 가 쌓여서 지금 현재는 100TB 정도의 안정성이 보장되는 storage 가 필요합니다.
그래서 지금까지 최근 10년 정도에..
Adaptec 5805 Raid 5: 2TB x 5개
Adaptec 51205 Raid 5: 3TB x 12 개
Adaptec 52445 Raid 5: 3TB x 16개
Adaptec 71605 Raid 5: 3TB x 4개
Adaptec 71605 Raid 5: 6TB x 8개
Adaptec 78165 Raid 5: 4TB x 8개
Adaptec 71605 Raid 5: 8TB x 12개
Synology DS1513+ Raid 5: 8TB x 5개
Synology DS1819+ Raid 5: 12TB x 8개
를 쓰게 되었습니다.
실제로 꼭 보관 되어야하는 contents 는 약 100TB 미만이고 나머지는 backup 용도가 되었습니다.
정말 중요한 contents 는 미국에도 한 copy 와 있습니다. 한 10년 정도 contents 를 모으다 보니 이렇게 되었네요.
2CPU 에는 저보다 더 평범한 수십 TB를 다루는 user 가 꽤 있다고 보시면 됩니다.
분명히 이것 들을 RAID 5로 잘 운영하시는 분들이 많이 계시죠. 당연히 Backup 을 잘 하시고 계시고...
RAID 5 의 경우, 뭐 human error 로 깨질수는 있지만, 그 이외에는 생각하시는 것처럼 1bit error 확율 때문에 바람 앞에 등불 처럼 위험하지는 않답니다. => 실제 경험에서 말씀 드리는 겁니다. (다른 분들은 다를 수가 있지요..)
그리고 혹시 의사 소통이 잘 않되시면 영어로 글을 쓰셔도 이해는 할 수 있습니다.
저도 한때 UIUC에 있었는디... 시카고에 있는 조선옥에 갔다가 어바나삼페인으로돌아갈때 캔커키쯔음을 지날때 길옆으로 마구 쏱아지던 번개가 갑자기 생각납니다.
1970년대 부터 컴퓨터를 쓰셨다면 저 보다는 훨씬 연배가 위신것 같습니다. 세상엔 정말 정답이 없는 것들도 많고 무엇이 정답인지 모르는 것들도 많으며 조금 무엇인가를 알게되어 분야를 좀 이해한다고 생각을 하며 기뻐했다가도 더 심각한 데드엔드에 도달하게 되고... 또 이렇게 별것아닌것 같은 내용을 가지고 얘기를 나누다보면 서로의 뜻이 상대에게 얼마나 정확하지 않게 전해지는지를 느끼게 되기도 합니다. 저의 언어표현 능력을 의심하게 만드는 경우가 많습니다. 또 한편으로 한국어가 표현에서는 약간 더 불분명한 부분이 많다고도 느끼는것도 사실입니다. 자꾸 오해가 커지는것 같은 기분이 들기도 하면서 무슨 피씽콘테스트를 하는것 같기도 하고요. 그런 부분 죄송합니다. 무엇인가 더 크게 봐야 보이는 부분이 있는지 조차도 잘 모를 정도의 수준이라고 생각하시면 됩니다. 제가 모르는것 빼고 다안다고 자부하긴하지만, 아마 모르는것이 우주와 지구전체싸이즈라고 하면 제가 아는것은 미국에 있는 도시외곽 작은 타운의 20분의1 정도의 내용도 안될것이라 생각하는데 제가 저의 생각이 정답이고 단하나의 가능성이라고 우기는것처럼 느껴지셨다면 그부분 또한 제가 모자라는 부분이니 죄송합니다. 좀 더 오픈마인드를 가져보도록 노력해야죠 뭐...
"총 용량에 50% 미만만 사용한다는 자부심에는 좋을지도.." 이부분에서 제가 뜻하던것은 레이드60를 쓸때 최악의 경우의 수가 50%의 디스크 용량을 쓰는것이기때문에 총 용량의 50% 미만을 사용하기는 (디스크인포가잡아먹는것을제외한다면) 불가능하기때문에 말이 이상하다고 한것이였습니다. 그러니까 레이드60의 경우 총 용량의 50% 이상을 사용하게 되니까요.
그리고 제가 시놀러지페이지를 예를 든것은 시놀러지에서는 그런 세팅을 권장하지 않기때문에 계산기에 포함도 안되어있다는 뜻이였습니다. 저는 그냥 단순히 남들이 확률등등 계산해서 적어놓은 글들이 그래도 저보다 잘아는 사람들이 계산하고 적어놓고 인증되고 했다고 생각한부분도 있지만 계속 문제 없이 시스템을 사용하고 계시는 분들의 경우를 그냥 좀 위험한것 같다라고 생각했던것이였습니다. 그리고 그냥 저의 경우에는 그정도의 리스크를 테이크하지 않겠다는 의미였구요. 절대로 저의 방식이나 저의 생각이 정답이다라는것도 아니고 우리모두 다같은 생각을 하고 있어야 한다고 생각도 하지 않습니다. 레이드5에 관해서는 위험성에 대한 글들을 지난 십여년간 많이 접해보아서 그런지 레이드5에 디스크가 5개를 초과한 세팅을 보면 알러지반응이 있는것 같습니다.
말씀하신대로 저의 4테라에서 조금 샤이한 저의 개인데이터는 레이드같은거 없이 그냥 제컴퓨터안 에스에스디에 나뉘어져있고 4테라 유에스비에 백업해서 그냥 제 책상위에 뒹굴고 있습니다. 그나마 좀 중요한것 같은 파일들은 유료원드라이브스토리지에 들어있구요.
하지만 개인데이터 말고 제가 서비스하는 서버의 경우 24x7 온라인 시스템들이고 어느정도 크리티컬하며 많은사람들이 동접하기도 하는 시스템들이라 최악의 경우를 맞이 하지 않기위하여 겹겹으로 해놓기는 했네요... 좀 오바일 수 있겠지만 제가 96년부터 근무하던 회사들 모두 그것이상의 로버스트니스를 갖추었던걸로 기억합니다. 이것도 모두 정답은 없는 내용이라는 점 이해하겠습니다. 또 그냥 확률적인 계산일뿐인거죠 뭐...
그나저나일리노이어디계셔요? 저는 원래 본가가뉴져지인데 다니다말은 대학원 다닐때 일리노이에 있었구요...
H/W RAID card를 사용해도 이 카드의 성능이 아무리 좋와도 결과는 동일하게 단일 디스크 볼륨에 비해서 언제나 느린 속도를 갖습니다.
님께서 말씀 하시는 속도 늦음이 어느 정도인가에 따라서 달라집니다만
보통의 경우 8-90% 성능을 갖게 됩니다.
RAID5 를 위한 패리티 계산 속도가 HDD의 쓰루풋 보다 낮기때문 입니다.
지속적인 Write 또는 Read가 일때에는 캐쉬를 사용해도 히트레이트가 낮아지기때문에 여전히 상대적으로 느리게 됩니다.
캐쉬를 사용한 속도 향샹은 단일 디스크 볼륨에 대해서도 동일 하기때문이죠.
분명히 HDD 여러개에 I/O 분산이 될텐데...
동일한 access 를 한다는 전제 아래, HDD 여러개에 나뉘서 저장이 되면 HDD 의 seek 거리도 짧아지고 data transfer time 도 1/n 으로 줄어 들텐데..
RAID Card 는 꼭 Adaptec 7 series 이상을 경험해 보시기 바랍니다. 이 회사가 다른데로 넘어가고 그래서 좀 거시기 하긴 합니다.
그리고 뒤에 Q 가 붙는 모델은 SSD Cache 기능이 있습니다.
아마도 DB 같은 것을 써야하는 상황이면 HDD 크기가 600GB x 3 = 1.8TB 정도니까 500GB 정도 크기의 SSD Cache 가 있는 편이 유리 할 듯 합니다만...
그리고 DB의 경우 1.8TB 정도 크기라면 U.2 SSD 2TB 짜리를 하나 도입하여 통째로 SSD 에 넣고 돌리는 것이 마음도 편하고 경제적으로 매리트가 있습니다.
현재 ebay 에서 U.2 SSD 2TB (Intel DC P4600 2TB) 정도면 4~500불 이면 충분히 구입이 가능합니다.