테스트 PC
http://www.2cpu.co.kr/network/14383
-----------------------------
예전에 구축해둔 파일서버인데요..
환경이 안되어 본격적인 테스트는 최근에야 이루어졌습니다.
( i5-3470T,16GB램, 윈도우11 환경에서 10G 랜으로 9260-8i 를 (12TB,14TB) 4개씩 레이드로 묶어서 드라이브 2개를 테스트중입니다.)
현재 쓰기테스트중 디스크 포멧할때 기본(4k) 할당크기일 경우 720MB/S를 몇초 유지 못하고 200 MB/S 으로 떨어지는 문제가 있습니다.
그래서 1024k로 할당 크기를 바꿨더니.. 720 MB/S를 좀 유지하지만... 이것도 몇백기가를 사용하면 200 MB/S로 떨어집니다.
쿨링을 좀더 신경쓰면 좀더 오래가긴하는데... 칩셋의 한계인지 1TB 쓰기 이상부터는 200 MB/S 다시 추락하고...
좀 쉬었다 돌리지 않으면 또 100-300 GB 쓴뒤로부터 또 200 MB/S로 추락합니다. (쓰로틀링이 걸리는것으로 추정)
처음엔 랜카드 문제인가해서 손으로 다 만져봤는데... 랜 카드 열은 문제가 아닌거 같고....
작업 관리자로 살펴보니...
720 MB/S 나올때는 드라이브 사용량이 88%로써 최대를 쓰지 않는데..
특이점을 넘으면 100%로 과부하가 걸리더니 200 MB/S로 추락합니다.
레이드카드 방열판을 만져봤을때 대단히 뜨거운거보면 레이드 카드 부하로 이렇게 되는게 확실한거 같은데..
팬쿨러를 120mm 지원해주고 30mm 쿨러를 직접 달아줘도 해결은 안되더군요.
흥미로운건 레이드 카드에 연결된 드라이브 2개에다가 동시 쓰기를 해주면 360 MB/S,360 MB/S 씩 분산처리되는데...
총합쓰기는 720 MB/S이지만... 이렇게하면 한쪽 드라이브에 과부하가 걸리지 않아서 쓰로틀링이 걸리지않고
몇테라를 써도 문제가 없었다는점입니다.
드라이브 한쪽만 최대성능 720 MB/S를 썼을때 과부하가 걸리면서 200 MB/S 로 추락하는거 같은데 양쪽을 분산해서 쓰면 과부하가 걸리지않는다는점이 흥미롭습니다..
테스트를 좀더 할겸 FastCopy라는 프로그램으로 복사(쓰기) 테스트를 해보면
윈도우 기본 카피 프로세스보다 안정적이고 좀더 오래 720 MB/S가 유지되는데요. 결국 쓰로틀링이 걸리긴하는데 그때 속도제어를 auto slow로 해주면 520 MB/S 정도로 유지하게 해주고 디스크 부하는 40-80% 까지 왔다갔다하면서 과부하를 피하게 해주네요.
다시 Full Speed를 주면 100-200GB 쓰다가 쓰로틀링이 걸려 200 MB/S로 떨어지고요....
한마디로 특정 한계치까지만 안쓰면 즉 500 MB/S 정도만 쓰면 쓰로틀링에 걸리지 않고 속도가 어느정도 유지되는거 같습니다...
그리고 한번 쓰로틀링에 걸리면 속도제어를 해주지 않는 이상 스스로 100% 과부하에서 빠져나오지 못합니다..
아무래도 칩셋의 한계같은데...
좀더 나은 레이드 카드로 교체하면 어떨지....
SFF-8087 to 4 SATA 케이블은 유지하고 싶은데 9271-8i를 쓰면 좀더 나아질까요?
9260 스팩이 LSI 2108 에 DDR2 캐쉬 메모리이고 9271 스팩이 LSI 2208 에 DDR3 일겁니다..
아마 PCIe 레인 Gen 도 차이가 있을 것입니다..
간단히 DDR2 사용하는 PC와 DDR3 사용하는 PC의 성능차 라고 보시면 됩니다..
만일 가능하시면 LSI 3108 칩셋에 캐쉬 메모리 2GB 이상 되는 제품 구해서 테스트 해보세요..
이건 12G라서 케이블부터 다 바꿔야 할 것입니다..
참 그리고 레이드5로 묶었는데.... 그냥 레이드라고만 썼네요
https://cdmanii.com/6050
이렇게 볼륨 전체를 스케닝하면서 테스트 하는 기능이 Hard Disk Sentinel 인증 버젼에 들어 있습니다..
HD Tune 은 옛날 프로그램이라 요즘 OS에는 안 맞는 듯합니다..
크리스탈 디스크 마크 64G 버전 테스트 하면 읽고 쓰기가 750 MB/S 정도 나옵니다.
개인적으로 RAID 5 에서 대용량 파일 기준 디스크당 IO속도는 최대 120MBps 정도로 잡고 있습니다. 4개면 4~500MBps 정도 나오는게 정상입니다.
360MBps 정도의 속도로 지속 쓰기를 했을 때 따로 속도저하가 없는 이유라고 보시면 좋을 듯 합니다.
하드디스크 특성상 디스크 외곽으로 갈 수록 성능이 많이 줄어드니 이점 같이 감안하시면 좋을 듯 합니다. (어차피 하드디스크는 6Gbps(600MBps) 속도를 다 사용하지 못합니다.)
LSI 9260이면 RAID 5에서 RoC 성능이 1.2~1.5GBps 정도는 나와줍니다. (Adaptec 7시리즈가 2.4GBps)
HDmSAS를 사용하는 SAS2.0으로 가셔도 마찬가지입니다. 솔직히 익스팬더 몇개씩 사용해서 디스크가 24개가 넘어가는 경우가 아닌이상 9260으로 과연 부족할까 싶은 생각이 드네요. (단 SSD는 최신제품 사용하는걸 권장합니다)
P.S RoC가 장착된 모든 레이드카드는 뜨겁습니다. 서버가 아닌이상 액티브쿨링을 필수적으로 해주셔야합니다. 그나마 9260이 상대적으로 저발열이라 버티는거지 옛날 IOP348 시절이면 칩셋이 타버릴 수 있습니다.
720 MB/S를 속도를 꾸준히 내주다가 특이점이되면 쓰로틀링이 걸린다는것이죠..
레이드내 DDR2램 캐쉬라고 해봤자 512MB고 1TB 쓰는동안 쓰로틀링이 안걸릴때도 있는거보면 이 캐쉬의 역활이 애매합니다.
또한 디스크 IO 문제였다면 애초에 720 MB/S가 안나왔지 않을까요?
컨트롤러 발열 상태?인지는 잘모르겠지만 상태에따라 720 MB/S가 유지되다가 쓰로틀링이 걸리면 FastCopy 프로그램에서 속도를 좀 떨어뜨린후 좀 있다가 다시 속도를 올리면 720 MB/S가 나옵니다... 이게 반복하기귀 귀찬아서 그렇지.... 디스크 문제인거 같진 않아요 , 그리고 디스크 온도는 40도를 안넘습니다.
드라이브중 한쪽에만 부하가 걸리면 컨트롤러에 더 과부하가 걸리는듯한데... 이걸 다른드라이브로 분산처리 되면 괜찬아지는걸보면... 컨트롤러에 특성이 좀 있어보이고... 쓰로틀링을 피할수 있는 컨틀로러면 괜찬을거 같다는 생각이 들었습니다.
RAID5에서는 패리티 구조 특성상 모든 드라이브에 기록을 하게 되어있습니다.
자꾸 쓰로틀링이라고 말씀하시는데, 이는 쓰로틀링과 전혀 관계가 없습니다. 분산처리, 컨트롤러 특성과도 관계가 없는 것이구요.....
속도저하라고 말씀하시면 될 것을 굳이 맞지 않는 단어를 쓸 필요는 없어보입니다.
ROC의 캐시메모리가 겨우 512MB라고 하시는데, CPU의 캐시메모리는 겨우 8~24MB입니다. nvme SSD 또한 256MB~1GB의 캐시메모리를 가지고 있지요.
1GBps 수준의 IO를 처리하는데 무조건 수 GB의 캐시가 필요하지는 않습니다. 하드디스크 IO 구조에 맞는 캐시메모리 정도면 충분합니다.
디스크 어레이 2개를 동시에 사용할 경우 RoC와 캐시메모리의 수준이 디스크 속도에 맞게 작동하니 따로 속도저하가 없는것이구요.
50mm 쿨러라도 액티브쿨링이 되고 있는 상황이라면 쓰로틀링은 크게 걱정하지 않으셔도 됩니다. 위에서 말씀드렸듯, RAID5,6에서 디스크 하나당 속도는 100~120MBps정도 잡고 있습니다. 9260보다 성능이 좋은 Adaptec 7,8시리즈, Lsi 9361 등에서도 마찬가지입니다.
근데 몇테라를 쓰고 지우고를 반복하는데 평균 쓰기 속도가 680 MB/S가 계속 나와서 이것에 대해 환상을 가지고 있었는데..
항상 잘나올수는 없을거 같고 결국 쓰기량이 많아지면 HDD 특성상 플래터 안쪽에 쓰느라 느려지니까... 300-500MB/S 이 맞는거 같기도 합니다.
더 좋은 레이드 카드를 쓰면 지금의 속도저하를 피할순 있어도 결국 디스크 IO 한계에 따라 느려질수 밖에 없긴할거 같네요..
( 지금의 문제는 쓰로틀링??? 한번 걸리면 200 MB/S 이하로 떨어지고 회복이 안됩니다. 끝까지 그속도로감... 그래서 수동으로 직접 속도를 줄여주거나 멈춰야 회복됨)
아니면 그냥 8 HDD를 레이드 6으로 잡아볼까 고민이 되네요...
순수한 경험으로만 말씀 드린다면, LSI 제품 기준으로 WD, HGST 제품군들이 디스크를 채워 갈수록 상대적으로 성능 저하 폭이 심했습니다.
시게이트 제품군들은 상대적으로 덜했었구요. 고용량으로 갈 수록, NAS용으로 나온 제품들은 상대적으로 덜 하기는 하지만 지금까지의 경험으로는 그렇습니다.
거의 99% 채운 8TB * 4 RAID5 디스크 또한 2~300MBps 정도 나오고 있으니.... 원래 그런가보다 하고 사용하시는게 좋지 않을까 싶습니다.
(3TB,4TB,8TB,10TB 200개정도 사용해보고 내린 개인적인 결론입니다.)
SAS 2.0 SSD 사용하실게 아니라면 컨트롤러 업그레이드 한다고 드라마틱한 성능 차이가 나거나 하지는 않습니다.
그냥 윈도우 복사할 경우 지혼자 700 MB/S 최대쓰기 (몇백GB 쓰기)하다가 200 MB/S로 고꾸라지고 속도 회복이 안되는 현상만 제어하면 되겠네요
FastCopy로 Auto Slow로 복사하면 400MB/S 이상으로 쓰로틀링없이 가는거보면 쓰로틀링? 현상만 피할수 있게 속도 제한 걸수 있는 프로그램을 써야할거 같긴합니다.
이게 버그인건지... 하여튼 쓰로틀링 걸려 200MB/S 이하로 떨어지면 , 몇테라 쓰는 내내 그속도로 유지되네요.
디스크 4개 raid 5이면 정상적인 속도라고 생각합니다.
9260-8i가 오래된 raid 카드이기는 해도 이것 때문에 느려진 것은 아닐 겁니다. 더 좋은 것으로 바꾸어도 별 차이 안 날 겁니다.
같은 9260-8i에 디스크 4개가 아니라 8개를 붙여서 raid 5로 묶은 뒤 테스트 해 보면 훨씬 더 좋은 성능이 나올 것입니다. raid card의 성능 때문이라면 여러개 묶어도 성능이 늘지 않을 겁니다.
SSD를 사용하는 경우에는 6G SSD를 사용하더라도 좀 더 나중에 나온 것 가능하면 12G raid 카드가 낫습니다.
속도 조절을 적절히 해줄만한 프로그램이 없어서 FastCopy의 auto 슬로우를 쓰면 350-400 MB/S 속도가 나오는데 성이 안차더라고요
그런데 TerraCopy를 쓰면 딱 절적하게 520 MB/S 평균이 나와주고 디스크 사용율이 30%대로 굉장히 적으면서도 안정적으로 사용되네요...
속도가 좀 느리지만 사용율 그래프가 굉장히 안정적입니다... 일단 테스트 1TB쓰기를 520 MB/S 정도로 쓰로틀링없이 무사히 통과했습니다
TerraCopy로 2TB 쓰기도 안정적이면 일단 테스트는 완료할 생각입니다.
디스크 4개 raid 5로 묶으면 순차 읽기 쓰기 속도가 디스크 3개에 해당하는 속도가 나오면 정상인데, 하나당 120~150MB/sec 정도 나오면 된다고 봅니다. hdd track 위치에 따라서도 속도가 다르고, 큰 파일이냐 작은 파일이냐에 따른 속도 변화는 엄청납니다.
copy program에 따라서도 양태가 매우 다를 수 있습니다. disk cache나 buffer를 얼마나 어떻게 사용하는 지가 프로그램에 따라 다를 수 있습니다.
copy 프로그램은 그래프가 안정적인 것을 따질 필요가 있을까요? 같은 작업을 가장 먼저 끝내면 그게 좋은 것 아닐까요? 프로그램 자체적으로 cache나 buffer를 달리하여 작업을 하기 때문에 양태는 많이 달라질 수 있습니다.
robocopy로 한번 테스트 해 보시지요.
robocopy option중에 /mt 옵션이 있는데, 이 옵션에 따라 굉장히 copy가 빨리 끝날 수도 있습니다. 다만 복사 속도가 빠르면 cpu 점용율이 커집니다.
robocopy <소스 디렉토리> <타겟 디렉토리> /mir /mt:128 /log:<log 파일 이름>
/log:<log 파일 이름> 이 옵션을 주지 않으면 복사하는 파일들을 화면에 뿌려주는데, 이 시간도 꽤 걸립니다. 파일에 기록하면 부담이 적어집니다.
/mt:128 숫자가 커지면 복사 속도가 빨라지는데 cpu 점유율은 커집니다. 디스크 성능이 높지 않으면 숫자를 높여도 성능이 높아지지 않습니다. 여러번 테스트 해 보고 적당한 선에서 타협하면 됩니다.
그러나 RAID 5 를 for-ground initialize 로 재대로 묶었을 경우에는 그런 일이 거의 없다고 봐야 하고
만일 back-ground initialize 로 묶었다면 그 작업이 아직 안 끝나서 속도가 처질 수는 있습니다..
참고로 많은 LSI 카드는 레이드를 묶을때 back-ground initialize 동작을 합니다..
아답텍은 그 작업이 일일히 수동으로 셋팅해야 하는지라 for-ground initialize 로 동작하는 경우가 많습니다..
레이드 묶자 마자 재부팅하고 레이드 볼륨 보이고 OS가 설치 가능하면 back-ground initialize 입니다..
컴킨체로 그냥 나두면 세팅이 되는걸까요? 얼마나 나둬야할지... 객관적으로 확인을 못하니 원..
일단 드라이버는 깔렸지만
메가레이드 프로그램 깔면 프로세스 에러 뜨면서 제대로 설치도 안되던데...
12TB X4 , 14TB X 4 는 어느정도 걸리는걸까요?
시스템 키고 나서 조금 시간이 지나서 명령이나 부하 안주었는데 레이드 묶은 하드들 전체가 억세스 LED에 불이 들어오면
백그라운드 이니셜 라이징입니다..
MSM은 꼭 설치해두는게 확인하기에는 좋습니다..
CLI 명령도 있는듯한데 구글링해보시면 나올겁니다..
테스트 하게 되면 후기 한번 남기겠습니다.
참고로 TerraCopy 프로그램 쓰면 평균 470-550 MB/S 사이에서 유지되는데 2TB 쓰는데도 쓰로틀링없이 통과되었습니다..
이제는 그냥 부하주지말고 그냥 나둬봐야겠습니다.
하드는 40도 이하로 만드실수 있으면 만드세요..
하드는 50도 되면 안의 데이터가 나갈수 있습니다..
저는 손이 데일 정도로 뜨거워 결국 쿨링팬을 달았습니다.
어쩌면 칩셋과열이 원인일지 모릅니다.
그것때문에 팬쿨러를 간접적으로 2개를 달았습니다.
SMR 하드 같에요...!
도시바 14 , 바라쿠다 프로 12 , exos x16 12
백그라운드(background) 및 포그라운드(foreground) 를 back-ground , for-ground 라고 쓰는 것은 틀린 표현 입니다.
background와 foreground는 하나의 단어 입니다.