이곳에서 정보를 많이 얻어 개인용 스토리지를 구축했습니다.
제가 했던것들을 말씀드리고 몇 가지 질문을 드리고자 글을 남깁니다.
박문형님, 송상병님, 김황중님, 춘고님 조언 감사드립니다!
Raid Controller는 Adaptec ASR-71605를 사용했습니다.
얻어온 72405는 쉽게 24 bay storage 구축이 여의치 않아 보류.
작업용 메인PC에 Read/Write 성능이 일정 수준을 만족하는 Array를 구축하는 것이 우선 사항이었으므로
External DAS 등은 고려하지 않았습니다.
기존 케이스는 Hot-Swap Bay용 5.25" Bay가 부족하여 메인 PC케이스를 새로 조립하여 3 TB x 8 ea를 4 Bay Hot-Swap Bay중
2개에 나눠 연결하고 조립.. (쿠킹호일같은 SAS-HD 케이블은 꽤나 거슬렸습니다. 그냥... 일반 케이블처럼 만들 수는 없었는지)
먼저 펌웨어를 업글하고 레이드가 풀리는 경우가 어떤게 있나 이것저것 테스트... 공부하는 셈 치고 테스트용 HDD로
Online 상태에서 HDD를 그냥 뽑아보는 만행까지도 해봤습니다. (Beep음 때문에 당황했다가 silence 커맨드가 생각나 끄고 이상있나
내심 가슴졸여도 보고...) 삽질 및 맨땅에 헤딩을 좀 했습니다.
알람 이후 OFFLINE이 되는 경우가 간혹 생겼는데 RESCAN 해서 거의 붙었고, 그래도 안되었을땐 PRESERVECACHE 커맨드로
컨트롤러 더티 캐시를 수동 CLEAR하고 RESCAN하니 콜드리붓없이 돌아오는 경우도 있었습니다.
절전모드는 현재 테스트중입니다만 이상은 없는 듯 합니다. 현재설정은 slowdown 30 poweroff 120 verify 3.
파워는 충분하지만 만약을 고려하여 SPINUP은 일단 4로 설정했습니다. 이것은 몇 번 더 테스트해보다가 disable 시킬 예정입니다.
간혹 RAID 5, 6는 풀리는데 RAID 5, 6+SPARE는 같은 조건에서도 안풀리는 경우가 발생하기도 하더군요. 허~
그래서 안정성을 위해 SPARE를 하나씩 넣어주었습니다.
여기서 여러 정보를 얻고 직접 이것저것 테스트해가며 저한테 맞는 용도로 세팅을 해봤습니다.
열흘넘는 날동안 시간가는 줄 모르고 지냈어요. (raid 6 빌드시간은....어휴)
ch0, ch1은 동영상 작업용으로 1024K STRIPE SIZE, RAID 5 + Dedicated hot spare 로 build
ch2, ch3은 미디어 및 기타저장용 6 TB x 4 ea + 4 TB x 4 ea를 Single Volume으로 백업용도로 사용.
백업 주기는 이벤트 발생 시 마다입니다.
(추후 백업용도로 SATA 스토리지가 생기면 이 채널들은 3TB x 8 ea RAID 5/6 + SPARE로 구축할 생각입니다)
레이드 컨트롤러에는 매뉴얼을 참조 1 inch 공간을 두고 쿨러를 달았습니다.(온도는 max 49도 평균 40도 정도)
레이드를 8개 16개를 걸었음에도 이상하게 크게 빠르지 않다는 생각이 들어 벤치마크를 실행해보니
시퀀셜 450MB / S를 넘지 못하는 현상이 발생하여 대역폭 문제로 판단 이것저것 뒤적여보다 GETCONFIG를 통해
Host bus speed : 2500MHz / Host bus link width가 4 bit(s)/link(s)로 작동하고 있음을 확인하여
M/B를 PCIe 3.0 8배속 지원모델로 교체했습니다. 교체후 GETCONFIG 정보에서
Host bus speed : 8000MHz / Host bus link width : 8 bit(s)/link(s)로 카드에서 지원하는 PCIe 3.0 8x 에서 작동됨을 확인하였고
테스트로 16ea raid 5에서는 R/W 2.2GB/s 이상으로 병목현상이 해결되었음을 확인.
레이드 볼륨은 약 1GB/Sec로 원하는 조건 이상의 초당전송률을 확보했습니다! 이제 4K영상 작업도 높은 fps가 아니라면 충분할 듯
합니다. 만일에 대비해 소형 UPS를 곧 놔둘 예정입니다.
Maxview Storage Manager는 문제가 많은 듯 하여 삭제하였습니다.
Console창이 정겹기도 하고해서 Command line utility를 사용하여 이것저것 로그 뽑아보는 중입니다.
DOS시절 파이프라던지 기억이 이제는 가물가물한데 '|more'나 '> filename'정도만 기억나더군요; 다시 공부 좀 해봐야겠어요.
여태 삽질했던 내용이었고, 궁금한 점이 있어 몇 가지 질문드리겠습니다. 답변 부탁드립니다.
1. BIOS -> SerialSelect Utility / Controller Configuration -> Automatic Failover가 오토리빌딩이라 설명되어 있습니다.
그리고 arcconf에 copyback 커맨드는 리빌드가 일어났을 때 원래 순서를 유지하도록 한다는 설명이 있구요.
그렇다면 예를 들어, raid 5 hdd 4ea + spare array에서 2번이 fail이 났을 때 copyback이 on 되어있다면 핫스페어로
오토리빌딩이 된다면 핫스페어가 그 '순서' 안에 들어가는지요?
아니면 핫스페어로 리빌딩이 끝난 후 2번 디스크를 교체했을 때 원래의 '순서'대로 들어가는지요?
2. 이 copyback 커맨드의 순서대로 유지하게 되는 것의 잇점이 뭔지 알고싶습니다.
3. 1번 질문 내용에 이어 교체하게 될 2번 디스크는 핫스페어 디스크 자동리빌딩이 끝난 후 교체하면 되는지요?
그리고 교체 및 리빌딩이 끝난 후 스페어 디스크는 자동으로 다시 스페어로 할당이 되는지 궁금합니다.
4. RAID ARRAY DISK의 BAD SECTOR 검색툴은 어떤걸 사용하면 좋은가요?
BIOS 유틸리티 LOW-LEVEL FORMAT, VERIFY툴에서도 확인할 수 있을까요?
5. 제 설정에 문제가 될만한 것 혹은 조언의 말씀 부탁드립니다.
많은 정보를 얻게해준 커뮤니티와 조언해주셨던 분들께 다시 한 번 감사드리며..
2cpu, 지름이 시작되는 곳! ..맞는 듯 합니다.
2. RAID1À» Á¦¿ÜÇÑ ¸ðµç RAID´Â µ¥ÀÌÅ͸¦ ºÐÇÒ ÀúÀåÇϱ⠶§¹®¿¡ ¼ø¼°¡ Áß¿äÇÕ´Ï´Ù. °¡²û µ¥ÀÌÅÍ°¡ ³ª°¬À»¶§ ÀϺη¯ ¼ÕÀ» ´ë´Â °æ¿ì°¡ ÀÖ±â´Â ÇÏÁö¸¸, ¼ÕÀ» ¾È´ë½Ã´ÂÆíÀÌ ÁÁ½À´Ï´Ù.
3. ÇÖ½ºÆä¾î ¸®ºôµù Áß¿¡ ±³Ã¼Çϼŵµ ¹«¹æÇÕ´Ï´Ù. µð½ºÅ©°¡ ¶³¾îÁ³À¸¸é °¡´ÉÇÑ »¡¸® ±³Ã¼ÇØÁֽôÂÆíÀÌ ÁÁ½À´Ï´Ù.
4. ¹èµå¼½ÅÍ °Ë»öÀº ·Î±× ¶§¶§·Î È®ÀÎÇϽðí Check & Verify ÇÑ´ÞÁ¤µµ¿¡ Çѹø¾¿ µ¹·Áº¸½Ã´Â°Ô ÁÁ½À´Ï´Ù. ´Ù¸¸, ´Ü¼ø ¹èµå¼½Åͺ¸´Ù´Â cmd abort ÂÊ¿¡ ´õ ½Å°æ½áÁֽô°ÍÀÌ ÁÁ½À´Ï´Ù.