이곳에서 정보를 많이 얻어 개인용 스토리지를 구축했습니다.
제가 했던것들을 말씀드리고 몇 가지 질문을 드리고자 글을 남깁니다.
박문형님, 송상병님, 김황중님, 춘고님 조언 감사드립니다!
Raid Controller는 Adaptec ASR-71605를 사용했습니다.
얻어온 72405는 쉽게 24 bay storage 구축이 여의치 않아 보류.
작업용 메인PC에 Read/Write 성능이 일정 수준을 만족하는 Array를 구축하는 것이 우선 사항이었으므로
External DAS 등은 고려하지 않았습니다.
기존 케이스는 Hot-Swap Bay용 5.25" Bay가 부족하여 메인 PC케이스를 새로 조립하여 3 TB x 8 ea를 4 Bay Hot-Swap Bay중
2개에 나눠 연결하고 조립.. (쿠킹호일같은 SAS-HD 케이블은 꽤나 거슬렸습니다. 그냥... 일반 케이블처럼 만들 수는 없었는지)
먼저 펌웨어를 업글하고 레이드가 풀리는 경우가 어떤게 있나 이것저것 테스트... 공부하는 셈 치고 테스트용 HDD로
Online 상태에서 HDD를 그냥 뽑아보는 만행까지도 해봤습니다. (Beep음 때문에 당황했다가 silence 커맨드가 생각나 끄고 이상있나
내심 가슴졸여도 보고...) 삽질 및 맨땅에 헤딩을 좀 했습니다.
알람 이후 OFFLINE이 되는 경우가 간혹 생겼는데 RESCAN 해서 거의 붙었고, 그래도 안되었을땐 PRESERVECACHE 커맨드로
컨트롤러 더티 캐시를 수동 CLEAR하고 RESCAN하니 콜드리붓없이 돌아오는 경우도 있었습니다.
절전모드는 현재 테스트중입니다만 이상은 없는 듯 합니다. 현재설정은 slowdown 30 poweroff 120 verify 3.
파워는 충분하지만 만약을 고려하여 SPINUP은 일단 4로 설정했습니다. 이것은 몇 번 더 테스트해보다가 disable 시킬 예정입니다.
간혹 RAID 5, 6는 풀리는데 RAID 5, 6+SPARE는 같은 조건에서도 안풀리는 경우가 발생하기도 하더군요. 허~
그래서 안정성을 위해 SPARE를 하나씩 넣어주었습니다.
여기서 여러 정보를 얻고 직접 이것저것 테스트해가며 저한테 맞는 용도로 세팅을 해봤습니다.
열흘넘는 날동안 시간가는 줄 모르고 지냈어요. (raid 6 빌드시간은....어휴)
ch0, ch1은 동영상 작업용으로 1024K STRIPE SIZE, RAID 5 + Dedicated hot spare 로 build
ch2, ch3은 미디어 및 기타저장용 6 TB x 4 ea + 4 TB x 4 ea를 Single Volume으로 백업용도로 사용.
백업 주기는 이벤트 발생 시 마다입니다.
(추후 백업용도로 SATA 스토리지가 생기면 이 채널들은 3TB x 8 ea RAID 5/6 + SPARE로 구축할 생각입니다)
레이드 컨트롤러에는 매뉴얼을 참조 1 inch 공간을 두고 쿨러를 달았습니다.(온도는 max 49도 평균 40도 정도)
레이드를 8개 16개를 걸었음에도 이상하게 크게 빠르지 않다는 생각이 들어 벤치마크를 실행해보니
시퀀셜 450MB / S를 넘지 못하는 현상이 발생하여 대역폭 문제로 판단 이것저것 뒤적여보다 GETCONFIG를 통해
Host bus speed : 2500MHz / Host bus link width가 4 bit(s)/link(s)로 작동하고 있음을 확인하여
M/B를 PCIe 3.0 8배속 지원모델로 교체했습니다. 교체후 GETCONFIG 정보에서
Host bus speed : 8000MHz / Host bus link width : 8 bit(s)/link(s)로 카드에서 지원하는 PCIe 3.0 8x 에서 작동됨을 확인하였고
테스트로 16ea raid 5에서는 R/W 2.2GB/s 이상으로 병목현상이 해결되었음을 확인.
레이드 볼륨은 약 1GB/Sec로 원하는 조건 이상의 초당전송률을 확보했습니다! 이제 4K영상 작업도 높은 fps가 아니라면 충분할 듯
합니다. 만일에 대비해 소형 UPS를 곧 놔둘 예정입니다.
Maxview Storage Manager는 문제가 많은 듯 하여 삭제하였습니다.
Console창이 정겹기도 하고해서 Command line utility를 사용하여 이것저것 로그 뽑아보는 중입니다.
DOS시절 파이프라던지 기억이 이제는 가물가물한데 '|more'나 '> filename'정도만 기억나더군요; 다시 공부 좀 해봐야겠어요.
여태 삽질했던 내용이었고, 궁금한 점이 있어 몇 가지 질문드리겠습니다. 답변 부탁드립니다.
1. BIOS -> SerialSelect Utility / Controller Configuration -> Automatic Failover가 오토리빌딩이라 설명되어 있습니다.
그리고 arcconf에 copyback 커맨드는 리빌드가 일어났을 때 원래 순서를 유지하도록 한다는 설명이 있구요.
그렇다면 예를 들어, raid 5 hdd 4ea + spare array에서 2번이 fail이 났을 때 copyback이 on 되어있다면 핫스페어로
오토리빌딩이 된다면 핫스페어가 그 '순서' 안에 들어가는지요?
아니면 핫스페어로 리빌딩이 끝난 후 2번 디스크를 교체했을 때 원래의 '순서'대로 들어가는지요?
2. 이 copyback 커맨드의 순서대로 유지하게 되는 것의 잇점이 뭔지 알고싶습니다.
3. 1번 질문 내용에 이어 교체하게 될 2번 디스크는 핫스페어 디스크 자동리빌딩이 끝난 후 교체하면 되는지요?
그리고 교체 및 리빌딩이 끝난 후 스페어 디스크는 자동으로 다시 스페어로 할당이 되는지 궁금합니다.
4. RAID ARRAY DISK의 BAD SECTOR 검색툴은 어떤걸 사용하면 좋은가요?
BIOS 유틸리티 LOW-LEVEL FORMAT, VERIFY툴에서도 확인할 수 있을까요?
5. 제 설정에 문제가 될만한 것 혹은 조언의 말씀 부탁드립니다.
많은 정보를 얻게해준 커뮤니티와 조언해주셨던 분들께 다시 한 번 감사드리며..
2cpu, 지름이 시작되는 곳! ..맞는 듯 합니다.
2. RAID1을 제외한 모든 RAID는 데이터를 분할 저장하기 때문에 순서가 중요합니다. 가끔 데이터가 나갔을때 일부러 손을 대는 경우가 있기는 하지만, 손을 안대시는편이 좋습니다.
3. 핫스페어 리빌딩 중에 교체하셔도 무방합니다. 디스크가 떨어졌으면 가능한 빨리 교체해주시는편이 좋습니다.
4. 배드섹터 검색은 로그 때때로 확인하시고 Check & Verify 한달정도에 한번씩 돌려보시는게 좋습니다. 다만, 단순 배드섹터보다는 cmd abort 쪽에 더 신경써주시는것이 좋습니다.