레이드 카드는 LSI MegaRAID SAS 9280-16i4e이고 Firmware 2.130.403-4660으로 업데이트 했습니다.
장터에서 구입한 HGST(히타치, SUN OEM SAS Disk, ProductId : H7240AS60SUN4.0T) SAS 4TB 7,200RPM 6G 3.5인치 하드디스크 12개를
RAID5 설정하고 Virtaul Disk Propeties 설정은 다음과 같이 했습니다.
RAID5 설정시 Strip size는 256k로 했습니다.
OS는 Windows 2016 Server이고 MSM 17.05.00.02, Driver는 6.714.05.00입니다.
하드를 구매하고 처음 작업때는 배드 섹터 검사를 안하고 진행해서
장착한 후 초기화 과정중 하드에 오류가 4개 있어서 교체했습니다.
다시 장착하고 12개 모두 GM HDD SCAN V2로 배드섹터 검사후 작업을 진행했습니다.
초기화는 fast initialize로 24시간 정도 완료한 후 오류가 없는 것을 확인하고
CrystalDiskMark로 테스트했는데 쓰기 속도가 아래와 같이 현저하게 낮게 나옵니다.
Atto나 HardTune도 거의 동일합니다.
Mellanox 10G 네트워크 카드를 직결해서 2차 VM Backup용으로 구성한 것인데
속도가 너무 안나옵니다.
1차 백업이 용량이 작아서 용량 위주로 RAID5
Virtaul Disk Propeties 설정을 Write Policy : Write Through, I/O Policy :Direct I/O, Disk Cache Polocy : Disabled로
설정을 하고 테스트해도 동일합니다.
RAID10 성능은 아래와 같습니다.
참고로 RAID0 성능은 아래와 같습니다.
유독 RAID5의 성능이 현저하게 낮습니다.
설정을 변경하거나 체크해야할 항목이 무엇이 있을까요?
Hard Disk Sentinel 상태입니다
제일 많이 기록한 디스크 상태이고 나머지 하드도 전부 괜찮다고 나옵니다.
----------------------------------------------------------------------------------------------------------------
간장게장님 알려주신대로 설정후 테스트한 자료입니다.
배터리가 없으면 Always Write Back 설정해야 제대로 동작합니다.
다시한번 감사드립니다.
초기화중이라서 성능이 약간 낮게 나옵니다.
실제 백업시 디스크 모니터링 수치입니다.
이제 24시간 초기화 진행만 남았습니다.
하드도 SUN OEM 모델인지라 펌웨어가 리테일 레이드 카드와는 안 맞을 요지가 있을수 있습니다..
설정변경은 그다지 할 수 있는게 없어 보입니다..
백그라운드 이니셜라이즈로 했으니까 다 묶이는데 켜놓고 시간이 하루 정도 걸릴 것입니다..
이니셜라이즈가 다 끝난후에 속도 채크 다시 해보세요..
초기화는 하루동안 진행해서 완료한 후 다시 테스트 했습니다.
결과는 동일합니다.
구형 카드에 OEM 하드와 궁합이 잘 안맞는거라 생각됩니다.
다른 RAID카드로 다시 테스트해봐야 겠습니다.
백업을 3차로 구성중인데 다른 카드도 진행해보고 안되면
속도와 용량 위주로 RAID0 써야 겠습니다.
감사합니다.
아니면 아답텍 7 /8 씨리즈도 나쁘지 않아 보입니다..
아답텍 레이드 카드는 SUN에 OEM 많이 했습니다..
HGST SATA하드 8개를 RAID5로 아무런 문제가 없이 쓰고 있다가 용량 증설한 것인데
특별한 문제없이 될 거라 생각하고 구축한 것인데 속도가 안나오네요.
이 보드의 포트가 2개이고 백플레인 연결된 서버가 아니라서 8개가 한계입니다.
2차 백업에서 아주 빠르게 전체를 다시 3차로 옮길려고 10G 네트워크 카드로 직결하고
백업하려고 robocopy 걸었는데 속도가 안나오서 측정하니 이런 상황입니다.
속도가 안나오면 3차 백업이니 RAID0로 가야 겠습니다.
감사합니다.
본래 1G제품이 스텐다드입니다..
레이드 칩셋 퍼포먼스는 6G와 12G 간에 2배는 넘을 듯합니다..
예전에 9271-8i 로 SATA 7.2K 디스크 8개 RAID5 구성에서 순차 읽기 쓰기 테스트했던 자료가 있어 올립니다.
성능이 현저하게 차이가 나는데 제가 테스트 할때 slow initialize / fast initialize 두가지 테스트 했을때 성능상 큰 차이는 없었습니다.
MSM 프로그램에서 개별 디스크에 other error count가 올라가고 있는지 확인 한번 해보세요
I/O policy 설정은 direct로 할때가 성능이 잘 나왔습니다.
참고하셔요~~
교체후 fast initialize 완료후에 테스트 했습니다.
이후에 다른 오류나 특별한 이벤트가 MSM에서 발생하고 있지 않습니다.
초기화 완료 이벤트나 로그인 이벤트외엔 없습니다.
박문형님이 말씀하신 구형 카드와 OEM 디스크의 궁합 문제가 아닐까 생각됩니다.
감사합니다.
http://www.2cpu.co.kr/bmt/2430?&sfl=mb_id%2C1&stx=online9&sop=and
성능은 아주 잘 나왔습니다.
물론, 정상적인 상태라고 해도 속도가 너무 낮게 나온 것은 인지가 되긴 합니다만...
RAID 5 를 저 역시 많이 묶어봤지만,,, 실제로 1개 이상 내기가 만만치 않았던 것 같습니다.
레이드의 캐쉬가 크면 클수록 체감하는 부분에 성능이 올라가겠지만,
그렇다고 캐쉬가 무한한 것도 아니기 때문에 그 용량이 벗어나는 량을 저장하면 성능은 곤두박질 치게 됩니다.
쓰기 패리티 정보 때문에도 그렇구요.
디스크가 Fail 이 나면 아마 저 성능의 반의 반도 안나올겁니다.
RAID 10을 써서 용량의 반을 버리더라도 속도에 대한 부분에 아쉬운 부분이 있다면 과감히 10으로 하겠습니다.
이번에 용량을 더 추가해서 구형 RAID카드로 새롭게 3차 백업 서버를
구축한 것인데 이게 속도가 안나오네요.
2차 백업은 속도나 오류 문제없이 잘 쓰고 있습니다.
저정도 속도가 나온다는것은 레이드카드의 성능 문제라기보다는 설정상의 문제일거 같습니다.
그리고 요즘은 레이드카드나 디스크의 버퍼, 캐시 사이즈가 커져서 테스트 용량을 좀 크게 잡으시는걸 추천드립니다.
fast initialize는 24시간만에 완료되어 테스트했습니다.
http://www.2cpu.co.kr/QnA/621140?&sfl=wr_name%2C1&stx=%B0%A3%C0%E5%B0%D4%C0%E5&sop=and
이 프로그램으로 하드 상태가 100% 인지 확인해보세요..
아시겠지만 하드에 알게 모르게 배드가 많으면 속도가 안나옵니다..
글 수정해서 제일 많이 write한 디스크 정보를 첨부했습니다.
하드 문제는 없는 듯 합니다.
그 외 의심 부분은 케이블인데 빨강색 몰랙스 케이블 말고 12G에나 사용되는 파랑색 AMP 나 회색 FOXCONN 케이블이 좋습니다..
다른 RAID 카드 구해서 테스트해보고 아니면 RAID0이나 용량 타협해서 RAID10로 가야 겠습니다.
감사합니다.
9280이면 싱글코어 프로세서라 fast path를 쓰더라도 성능이 안나오는게 맞긴 합니다만... 그렇더라도 순차쓰기에는 1500MB/s 정도는 나오는데 뭔가 HDD와 궁합 문제라든가 그런 것 같습니다. RAID컨트롤러에 해당 HDD와의 호환성이 있는지 확인해 보셔야 할 듯..
구글 검색중인데 아직 비슷한 경우가 못 찾았습니다.
당분간 새로운 RAID 카드 구할때까지 3차 백업이니 RAID0 고려 중입니다.
RAID0, RAID1, RAID10 등은 캐시가 없어도 성능이 좋습니다. 그래서 RAID0, 1, 10 등을 쓸 때는 구태여 비싼 RAID 카드를 쓸 필요가 없습니다.
RAID 세팅시 write policy를 writeback으로 하셨는데요. BBU(배터리와 flash 모음)가 없거나 작동이 되지 않는 상태에서는 writeback 캐시가 작동을 하지 않도록 되어 있습니다.
해결방법은
1. BBU가 없으면 달아준다.
2. BBU가 있다면 잘 작동하는지 점검해 본다. 문제가 있으면 교환
BBU가 없더라도 writeback 캐시를 작동시킬 수 있습니다.
write policy를 force writeback으로 설정하면 됩니다.
writeback으로 설정하면 BBU가 있으면 writeback 캐시 작동, BBU가 없거나 작동하지 않으면 자동으로 Write Through로 됨.
force writeback으로 설정하면 BBU 작동여부에 관계없이 강제로 writeback 캐시 작동.
BBU 없는 경우 force writeback 설정하여 writeback 캐시를 작동시키면 평소에는 아무 문제가 없는데, 정전이 되면 cache 안에 들어있던 것이 날아갑니다.
사실 요즘 정전도 잘 되지 않으니 이렇게 사용한다고 해도 그리 위험한 것은 아닙니다. 입출력 하다가 몇초 노는 시간이 있으면 cache는 자동으로 flush됩니다. 그 상태에서는 정전이 되더라도 cache 안에 든 것이 없으므로 안전. 계속적으로 쓰기 작업을 하는 도중에 정전이 되면 cache 안에 있는 내용 날아감. 어차피 정전이 되면 BBU 있어서 cache 내용 보존된다 하더라도 작업 다시 해야 하는 경우가 많지요.
제일 좋은 것은 BBU 달아놓고 쓰는 것인데, eBay에서 그리 비싸지 않게 구하실 수 있습니다.(10달러 이내) 9260-8i, IBM M5015 등과 같은 것을 씀.
싸기는 하지만 재수 없으면 작동하지 않는 BBU가 와요. 다시 돌려보내기도 송료 때문에 그렇고. ㅎ
물론 Backup 도중 정전되면 다시 backup해야겠지요.
연결 선이 필요한 듯 합니다. e-bay 검색해봐야 겠습니다.
말씀하신대로 force Write Back 옵션에 해당되는 Always Write Back으로 재설정하고
테스트해봐야 겠습니다.
다시 RAID5로 재설정하고 테스트 수행했습니다.
Always Write Back과 Fast initialize 설정해서 Back Ground Initialize 상태입니다.
WriteBack으로 동작해서 속도가 빨라졌습니다.
해결된 거 같습니다.
감사합니다.
배터리가 없으면 Always Write Back으로 설정해야 하는 걸 배웠습니다.
초기화중 테스트한 화면을 본문에 다시 첨부하겠습니다.
엄청난 시간을 절약하게 됐습니다.
다시 한번 감사합니다.
초기화 중인데 백업 걸어도 될 거 같습니다.
리튬이온 받데리면 죽은 받데리만 분리해서 18650 전지를 다는 방법도 있기는 합니다..
아래카 BBU는 그렇게 개조해서 돌리는 사람이 있는가 봅니다..
전 아직은 BBU가 죽지 않아서 받데리 교환 실험은 아직 해보지 못했네요..