RAID 구축해서 써온지 제법 오래榮쨉글은 처음쓰네요.
ebay 에서 HP P410 를 구축해서 새 Array 를 셋팅중에 이상한 것을 발견해서 정보 공유겸 올립니다. 일단 ebay 에서 80$ 막판에 팔던 물건을 집어서 4TB * 6 개로 Array 를 구축했다가 하는김에 8장 다 채우잔 생각에 화끈하게 2개 더 사서 현재 4TB * 8 로 RAID 50 을 구축해서 이런저런 테스트 중입니다. 일단 RAID 50 을 쓰게된건 6장 꼽아서 Array 만드는 메뉴에 들어가니 50부터 추천을 한데다가 RAID 5 로 2TB * 8 을 써왔는데 분기마다 디스크가 하나씩 나가던게 신경쓰여서 이참에 안정성을 높이고자 RAID 50 으로 만들었습니다.
HP Smart Array P410, Rev C, Firmware 6.40 + Seagate 4TB HDD.15 ST4000DM000 8개
Dell PERC 6/I + WD Green 2TB 8개 (EARS, EARX, EZRX 까지 썩여있음 T_T)
Windows 2012 R2
Asrock H87M (UEFI 부팅, CSM 모드 제거)
문제는 퍼포먼스인데.. P410 GUI 버젼의 Array 를 기본으로 만들면 Strip 크기를 256KB 단위로 잡으라고 나옵니다. 그래서 기본으로 잡아서 나온 수치는 아래와 같이 읽기에 들쑥 날쑥한 부분이 나타납니다. 참고로 Array Initialize 를 하지 않은 상태로 테스트를 했기 때문에 실 퍼포먼스와 차이가 있을 수 있습니다. Smart Array 메뉴얼에 따르면 Surface Scan Priority 를 Idle / ?초 놓았을 경우 Idle 에 돌입하지 않으면 Initialize 가 실행되지 않기 때문에 퍼포먼스에 영향이 없다고 되어있긴 한데 확실하진 않습니다. 참고로 테스트 중간 Initialize 가 끝난다음 테스트를 한번 돌려봤을때도 퍼포먼스 차이가 없었습니다.
<6 disk RAID 50 256KB/512KB, BB 없이 Write Cache On, Disk Cache On, read 50% write 50%, NTFS 64K>
참고로 BBU 없이 P410 에 RAID 5/50 을 구축하면 쓰기 캐쉬가 기본적으로 꺼진상태로 초기화 됩니다. 강제로 켜줘야 하고 켜준다음에 다시 들어가서 Read/Write Cache 비율을 손으로 조절해줘야 합니다. 마지막으로 각 로컬 디스크들에 있는 캐쉬를 사용할지 컨트롤러 셋팅에서 정해줘야 합니다.
어쨌거나 위와 같이 들쑥 날쑥한게 신경쓰여서 일단 6 disk 상태로 이런저런 테스트를 돌려보았습니다. 일단 6 disk 상태로 Strip Size 를 8K 에서 512K 까지 바꿔가면서 Array 를 만들어서 돌려 보았습니다. 위에 것은 Disk Cache 를 켠것, 아래 것은 Disk Cache 를 끈것, 그리고 그 밑에 것은 혹시나 해서 NTFS 블럭 크기를 64K -> 32K 로 바꿔서 테스트 해본 것입니다.
<6 disk RAID 50 8K~512KB/16K~1024KB, BB 없이 Write Cache On, Disk Cache On, read 50% write 50%, NTFS 64K>
<6 disk RAID 50 8K~512KB/16K~1024KB, BB 없이 Write Cache On, Disk Cache Off, read 50% write 50%, NTFS 64K>
<6 disk RAID 50 8K~512KB/16K~1024KB, BB 없이 Write Cache On, Disk Cache On, read 50% write 50%, NTFS 32K>
P410 스펙을 보면 256MB 캐쉬 의 경우 40bit (4bit + 1bit ECC ?) 이고 512MB 이상 캐쉬들의 경우 72bit (8bit + 1bit ECC ?) 버스를 사용한다고 하고 있습니다. 애석하게도 512MB 캐쉬는 좀 나중에 지를 예정이었던지라 테스트중 주문했던 디스크 2개를 더 붙여서 8 disk 테스트들을 진행했습니다.
8 disk 는 disk cache 의 영향이 적은 것으로 판단하고(몇개 찍어봤더니 6 disk와 비슷하게 미세한 차이만 보였습니다.) disk cache 는 전부 켜고 8KB~512KB/24KB~1536KB Strip 에 대한 퍼포먼스 측정과 BBWB Read/Write 비율을 0~100%까지 10% 단위로 바꿔가면서 돌려봤습니다. NTFS 볼륨도 6 Disk 상태에서 32KB/64KB 상의 퍼포먼스 차이가 별로 안보였던 관계로 계획하던대로 64KB 기준으로 테스트를 돌렸습니다.
<8 disk RAID 50 8K~512KB/24K~1536KB, BB 없이 Write Cache On, Disk Cache On, read 50% write 50%, NTFS 64k>
<8 disk RAID 50 8K~512KB/24K~1536KB, BB 없이 Write Cache On, Disk Cache On, read 0~40% write 100~60%, NTFS 64k>
<8 disk RAID 50 8K~512KB/24K~1536KB, BB 없이 Write Cache On, Disk Cache On, read 60~100% write 40~0%, NTFS 64k>
결론은 저는 P410/256MB 에서 8 Disk RAID 50 을 구축하면서 안정적인 Read/Write 속도를 위해서 Strip Size 는 64KB, BBWC/FBWC 의 비율은 그냥 50%/50%, No Disk Cache (퍼포먼스에 큰 영향이 없음) 로 결정하게 되었습니다. 나중에 BBWC/FBWC 를 추가로 구하게 되면 테스트를 가볍게 돌려보겠지만 한번 만들어진 Strip Size 는 변경이 쉽지 않은 관계로 (스펙을 보면 가능하긴 한가본데?) 이대로 사용할 예정입니다.
참고로 Dell H710/1024MB 를 쓰면서 동일한 시게이트 4TB * 8 구성을 한 후배의 경우 Read/Write 에서 1TB/s 씩 뽑아내는 모습을 보여주더군요. 디스크당 120~150MB/s 까지 나오니 8개를 묶으면 불가능한 수치는 아니죠. P410/256MB 도 캐쉬 변경으로 800MB/s 정도까진 쳐주면 좋겠는데 말입니다. 어쨌거나 H710 과 비교할 수 없는 엔트리 RAID 5 카드인 만큼 너무 많은걸 바라기엔 무리겠죠.
참고로 PERC 6/I -> P410 으로 12TB 를 Robocopy.exe 로 복사를 시켰을때 실 속도는 320MB/s 정도가 나왔습니다. (기대 이하!! 그래도 RAID 50 에 4TB 가 지원되니까 난 괜찮아~~~)
p.s.시간날때 올 여름 겪었던 익사이트한 RAID 복구기도 올려보겠습니다. T_T
Total Copied Skipped Mismatch FAILED Extras
Dirs : 3793 3786 0 0 0 0
Files : 47885 47880 5 0 0 0
Bytes : 12.687 t 12.687 t 645 0 0 0
Times : 11:31:25 11:27:21 0:00:00 0:04:03
Speed : 338253333 Bytes/sec.
Speed : 19355.010 MegaBytes/min.
Ended : 2013년 11월 20일 수요일 오전 11:16:40
오늘 512MB + BBU가 도착하니 이걸로 다시 벤치를 돌려봐야죠.