참세상맹글기
다시 하루 걸려서 50GB 정도의 자료를 NAS(RAID 5)로 빽업했습니다.
NAS에 폴더를 하나 더 만들고, 몇개의 폴더를 새로 만든 폴더로 이동했습니다.
여기서 기본적인 질문,
원래 이동속도가 레이드5에서는 느린 것인지요? 각 파일의 패리티를 체크하기 때문인가요?
레이드 구성이 안되었을 경우 동일 파티션 이동은 그냥 정보만 바꾸는 것이라 순식간이지 않습니까?
레이드0로 하면... 빠르겠지요?
===============================================
NAS는 시놀로지 DS411+2 모델이구요.
HDD는 시게이트 3TB 4개를 레이드5로 묶어놨습니다.
레이드는 어떤 식으로 묶었나요?
제가 집에서 사용하는 시스템은 웬디 블루 500기가 9개 640기가 7개가 달려 있습니다.
16체널 LSI 레이드카드에 각각의 하드를 JBOD식으로 묶었고요.
물론 512 캐쉬 달린 레이드 카드입니다.
400기가 정도 데이터를 하드에서 딴 하드로 옮길때 3-4시간 정도 걸립니다.
깡통 스위치허브가 문제일런지...아니면 원래 파일서버로 쓰던 PC의 WD 그린HDD가 문제일런지...
볼륨이 다르면 물리적으로 동일 디스크라고 해도 실제로는 이동이 아니라 복사 후 삭제가 이루어 집니다.
당연하겠지만 이런 경우 A 디스크에서 B 디스크로 이동되는 것이 아니라 동일 디스크내에서 읽고 쓰고 읽고 쓰고를 반복하기 때문에 속도가 더 느립니다.
1. 다른 세트끼리 복사
Raid5로 묶인 드라이브 세트 1 : 단일 볼륨 D
Raid5로 묶인 드라이브 세트 2 : 단일 볼륨 E
D에서 E로 복사/이동 시간 = 일반 하드 복사/이동 시간 - 캐시빨 속도
2. 한 세트, 다른 드라이브 볼륨
Raid5로 묶인 드라이브 세트 : 멀티 볼륨 D, E
D에서 E로 복사/이동 시간 = 일반 하드 복사/이동 시간 - 캐시빨 속도
3. 한 세트, 단일 드라이브 볼륨
Raid5로 묶인 드라이브 세트 : 단일 볼륨 D
파일 복사 시간 = 일반 하드 복사 시간 - 캐시빨 속도
파일 이동 시간 = 0
※ 여기서 캐시빨 속도라고 표현한 부분은 쓰기 캐시가 활성화 되어 있을 경우 레이드 카드의 캐시에 따라 파일의 복사/이동 시간이 줄어드는 것을 말합니다.
매무매우매우 단순 무식한 표현으로 512M의 캐시를 가진 레이드 카드에서 512M이하의 크기를 가진 단일 파일에 대한 복사/이동의 경우 볼륨이 달라도 복사시간은 0로 처리된다.. 라는 거죠..
그리고.. 이 현상은 제가 가진 레이드 카드가 아답텍 5시리즈 뿐이라 다른 레이드 카드에서는 다르게 나타날 수도 있습니다..
--------------------------------------
레이드 5 이상을 사용하는 것은 단순히 드라이브 볼륨만을 위한 것이 아니라 데이터의 안전성을 높이기 위함이죠..
hdd 4개 단일볼륨으로 레이드 5로 묶었습니다.
파일이동도 당연히 단일볼륨 안에서 폴더만 이동이구요.
한 500메가 정도 파일은 이동시간 0 입니다.
50G정도를 파일이동했는데(레이드 단일볼륨) 시간이 10분 정도 걸린 듯 합니다.
...... 그거... 혹시... 파일 갯수가 만단위 넘지 않나요???...
그리고 네트워크 드라이브로 처리하지 않으셨는지???
원격으로 파일 이동 처리는 데이터의 크기가 문제가 아니라 파일의 갯수에 영향이 있던데요.
대단위 정리는 콘솔이든 터미널이든 NAS에서 직접 처리하도록 하는 것이 나을겁니다.
저도 원격으로 빠르게 하는 방법은 몰라서 그런 경우는 원격 데스크탑으로 접속해서 처리를 하거든요.
대부분 잔파일 특히 이미지파일 수백만게 날리시면 속도가 현저히 떨어집니다.
직접 복사 명령어 코드로 시간을 찍어보지는 않았지만,
File Write시 Open/Close시에 시간을 많이 허비하는걸로 알고 있습니다.
mv 소스에 기능함수를 보니까 copy & delete도 하지만, rename도 예외로 있네요.
rename함수는 link 정보만 바꿔주네요. Super block i-node 정보만 업데이트.
그래도 i-node 정보 수십만개 업데이트하려면 다소 시간은 걸리겠네요. ^^
시간이 걸릴이유가 없는데.. 싶어서 테스트를 해 봤었습니다.
1. 로컬 하드에서 이동
레이드 카드 : 아답텍 5시리즈
레이드 설정 : 하드 8개를 레이드 6
볼륨 : 단일 볼륨
테스트 : 파일 갯수 40만여개, 총 용량 140기가 정도
소요시간 : 0
2. 네트워크 드라이브로 연결한 홈 서버의 하드에서 이동
레이드 카드 : 아답텍 5시리즈
레이드 설정 : 하드 4개를 레이드 5
볼륨 : 단일 볼륨
테스트 : 파일 갯수 1천여개, 총 용량 660메가
소요시간 : 2~30초
3. 네트워크 드라이브로 연결한 홈 서버의 하드에서 이동
레이드 카드 : 아답텍 5시리즈
레이드 설정 : 하드 4개를 레이드 5
볼륨 : 단일 볼륨
테스트 : 파일 갯수 5, 총 용량 68기가
소요시간 : 0
이렇게 떨어지더라고요..
아마도 네트워크 드라이브 연결에서 처리하는 방법이 파일 이동 명령을 순차처리 해서 느려지는 것은 아닌가 싶습니다.
... iScsi 방식을 이용한 처리는 어떨까 궁금함이 무럭무럭 올라오긴 했는데....
... 귀차니즘이 승리했습니다........
저는 시간이 없어서 그냥 업체에 문의해봤습니다.
하드웨어 레이드가 아닌 소프트웨어 레이드라서 더욱 느리게 느껴질 수 있었던 듯 합니다.
결국 파일의 크기와 갯수가 밀접한 관련이 있고요.
NAS는 정상작동 하는 것으로 잠정 결론 내렸습니다.
다시 한 번 감사의 말을 전합니다.
다시 테스트 후에 결과를 포스팅해볼게요.
다시 한 번 감사드려요~
단일 볼륨상태에서 이동도 약간지체됩니다. 이는 같은 하드를 사용한 508 509에서 같은 현상이며 파일 수가 많아 질수록 당연히 더길죠.. 508보다 509가 약 두배이상 빠른것을 보아선 cpu의 한계인것 같습니다.