잔혹한마법사 2012-02

레이드 5에서도 파일 이동은 바로 이동인데요..

무명대인 2012-02

50gb를 하루 걸려서 옮기셨다니..재점검을 해보셔야 할 듯 합니다.

참세상맹글기 2012-02

50GB가 아니라 500GB였습니다. 하루라는 것이 24시간을 말한 것은 아니구요. 10시간 정도 된 듯 합니다.

박문형 2012-02

NAS가 어떤 네트웍 속도로 물려 있나요?
레이드는 어떤 식으로 묶었나요?

제가 집에서 사용하는 시스템은 웬디 블루 500기가 9개 640기가 7개가 달려 있습니다.
16체널 LSI 레이드카드에 각각의 하드를 JBOD식으로 묶었고요.
물론 512 캐쉬 달린 레이드 카드입니다.
400기가 정도 데이터를 하드에서 딴 하드로 옮길때 3-4시간 정도 걸립니다.

참세상맹글기 2012-02

기가비트입니다. 자잘한?(4~10MB) 파일들이 5만개 정도 있네요. 전송속도는 8MB/s 정도 나오네요.

김윤술 2012-02

write cache 를 안살린듯 싶은데요...

참세상맹글기 2012-02

WRITE CACHE 활성화되어 있습니다.

참세상맹글기 2012-02

답변들 고맙습니다. 아무래도 좀 문제가 있는 것일까요?
깡통 스위치허브가 문제일런지...아니면 원래 파일서버로 쓰던 PC의 WD 그린HDD가 문제일런지...

하우디자인 2012-02

동일 볼륨내에서 이동하신건가요?

볼륨이 다르면 물리적으로 동일 디스크라고 해도 실제로는 이동이 아니라 복사 후 삭제가 이루어 집니다.


당연하겠지만 이런 경우 A 디스크에서 B 디스크로 이동되는 것이 아니라 동일 디스크내에서 읽고 쓰고 읽고 쓰고를 반복하기 때문에 속도가 더 느립니다.

마이코코 2012-02

raid5-->rais5가 단일 하드 이동 속도와 같다면 젇말 궁금합니다. 해결해 주세요! 아니면 앞으로 레이드와 인연맺을 필요가...

잔혹한마법사 2012-02

한장의 레이드 카드를 사용했다고 가정시...

1. 다른 세트끼리 복사
Raid5로 묶인 드라이브 세트 1 : 단일 볼륨 D
Raid5로 묶인 드라이브 세트 2 : 단일 볼륨 E

D에서 E로 복사/이동 시간 = 일반 하드 복사/이동 시간 - 캐시빨 속도

2. 한 세트, 다른 드라이브 볼륨
Raid5로 묶인 드라이브 세트 : 멀티 볼륨 D, E

D에서 E로 복사/이동 시간 = 일반 하드 복사/이동 시간 - 캐시빨 속도

3. 한 세트, 단일 드라이브 볼륨
Raid5로 묶인 드라이브 세트 : 단일 볼륨 D

파일 복사 시간 = 일반 하드 복사 시간 - 캐시빨 속도
파일 이동 시간 = 0

※ 여기서 캐시빨 속도라고 표현한 부분은 쓰기 캐시가 활성화 되어 있을 경우 레이드 카드의 캐시에 따라 파일의 복사/이동 시간이 줄어드는 것을 말합니다.
매무매우매우 단순 무식한 표현으로 512M의 캐시를 가진 레이드 카드에서 512M이하의 크기를 가진 단일 파일에 대한 복사/이동의 경우 볼륨이 달라도 복사시간은 0로 처리된다.. 라는 거죠..
그리고.. 이 현상은 제가 가진 레이드 카드가 아답텍 5시리즈 뿐이라 다른 레이드 카드에서는 다르게 나타날 수도 있습니다..

--------------------------------------

레이드 5 이상을 사용하는 것은 단순히 드라이브 볼륨만을 위한 것이 아니라 데이터의 안전성을 높이기 위함이죠..

참세상맹글기 2012-02

제 설명이 좀 부족했나요?
hdd 4개 단일볼륨으로 레이드 5로 묶었습니다.

파일이동도 당연히 단일볼륨 안에서 폴더만 이동이구요.
한 500메가 정도 파일은 이동시간 0 입니다.

50G정도를 파일이동했는데(레이드 단일볼륨) 시간이 10분 정도 걸린 듯 합니다.

잔혹한마법사 2012-02

윽... NAS 였다.....

...... 그거... 혹시... 파일 갯수가 만단위 넘지 않나요???...
그리고 네트워크 드라이브로 처리하지 않으셨는지???

원격으로 파일 이동 처리는 데이터의 크기가 문제가 아니라 파일의 갯수에 영향이 있던데요.
대단위 정리는 콘솔이든 터미널이든 NAS에서 직접 처리하도록 하는 것이 나을겁니다.
저도 원격으로 빠르게 하는 방법은 몰라서 그런 경우는 원격 데스크탑으로 접속해서 처리를 하거든요.

이현호K 2012-02

파일의 갯수와 속도는 밀접한 관련이 있습니다. 물론 용량도 영향을 주긴 하지만,
대부분 잔파일 특히 이미지파일 수백만게 날리시면 속도가 현저히 떨어집니다.

직접 복사 명령어 코드로 시간을 찍어보지는 않았지만,
File Write시 Open/Close시에 시간을 많이 허비하는걸로 알고 있습니다.

잔혹한마법사 2012-02

네트워크를 통한 복사가 아닌 로컬에서 이동이니 파일을 열고 닫을 일은 없죠..

이현호K 2012-02

양인철 회원님 말씀데로 단일디스크 단일볼륨이라면 File Open/Close는 없네요.
mv 소스에 기능함수를 보니까 copy & delete도 하지만, rename도 예외로 있네요.
rename함수는 link 정보만 바꿔주네요. Super block i-node 정보만 업데이트.
그래도 i-node 정보 수십만개 업데이트하려면 다소 시간은 걸리겠네요. ^^

잔혹한마법사 2012-02

NAS라는 말이 원격으로 파일 이동을 시킨다.. 라는 의미란걸 제대로 이해를 못해서..
시간이 걸릴이유가 없는데.. 싶어서 테스트를 해 봤었습니다.

1. 로컬 하드에서 이동
레이드 카드 : 아답텍 5시리즈
레이드 설정 : 하드 8개를 레이드 6
볼륨 : 단일 볼륨
테스트 : 파일 갯수 40만여개, 총 용량 140기가 정도
소요시간 : 0

2. 네트워크 드라이브로 연결한 홈 서버의 하드에서 이동
레이드 카드 : 아답텍 5시리즈
레이드 설정 : 하드 4개를 레이드 5
볼륨 : 단일 볼륨
테스트 : 파일 갯수 1천여개, 총 용량 660메가
소요시간 : 2~30초

3. 네트워크 드라이브로 연결한 홈 서버의 하드에서 이동
레이드 카드 : 아답텍 5시리즈
레이드 설정 : 하드 4개를 레이드 5
볼륨 : 단일 볼륨
테스트 : 파일 갯수 5, 총 용량 68기가
소요시간 : 0

이렇게 떨어지더라고요..

아마도 네트워크 드라이브 연결에서 처리하는 방법이 파일 이동 명령을 순차처리 해서 느려지는 것은 아닌가 싶습니다.

... iScsi 방식을 이용한 처리는 어떨까 궁금함이 무럭무럭 올라오긴 했는데....
... 귀차니즘이 승리했습니다........

참세상맹글기 2012-02

아.. 이런 양인철님.. 저때문에 괜히 고생하셨네요. 그래도 저에겐 소중한 정보였네요. 고맙습니다.
저는 시간이 없어서 그냥 업체에 문의해봤습니다.

하드웨어 레이드가 아닌 소프트웨어 레이드라서 더욱 느리게 느껴질 수 있었던 듯 합니다.
결국 파일의 크기와 갯수가 밀접한 관련이 있고요.

NAS는 정상작동 하는 것으로 잠정 결론 내렸습니다.
다시 한 번 감사의 말을 전합니다.

참세상맹글기 2012-02

답변 감사합니다.
다시 테스트 후에 결과를 포스팅해볼게요.
다시 한 번 감사드려요~

김우성 2012-02

시놀리지 nas  ds508 509를 사용하는 입장에서 말씀드리면 5 상태에서 이동속도는 0 보다는 많이 걸립니다.
단일 볼륨상태에서 이동도 약간지체됩니다. 이는 같은 하드를 사용한 508 509에서 같은 현상이며 파일 수가 많아 질수록 당연히 더길죠.. 508보다 509가 약 두배이상 빠른것을 보아선 cpu의 한계인것 같습니다.