예전에 기억으론 압축파일 풀고 압축하고 할때 시피유보단 하드 빠른게 시간상 많이 단축 된다고 기억하고 있었는데 오늘 다른 동호회 사람들이랑 이래저래 이야기 하다가 나온말인데 시피유 영향을 더 많이 받는다고해서 어떤지 질문드립니다 분명히 예전에 작업할땐 하드 빠른게 훨씬 시간이 단축되었는데 말이죠 지식인 같은거 답변들도 시피유 영향을 많이 받는다는거 같고 어떻게들 생각하시나요?
하드와 cpu둘다 영향을 받습니다
데이타가 움직이는 경로를 보시면 아실겁니다
하드에 빨리저장이 되는것도 중요 하지만 데이터가
메모리를 거쳐 cpu로 갑니다
여기서 문제가 되는부분이 메모리가 느리다는 것입니다
이부분을 해결되는부분이 cpu의 케쉬메모리 입니다
케쉬메모리가 상당히 빠르기 때문에 데이타병목현상을 해소
해줍니다
결국cpu가 빨라도 케쉬메모리가 작으면 빨라질수가 없을 겁니다
Cpu에 케쉬가 많은경우 압축시 영향을 미칠수 이겠죠
압축파일이라도 압축파일 자체가 여러가지 케이스인 관계로 어느게 맞다라고 볼 수 없습니다.
압축 대상 파일의 개수, 압축율, 전체 파일 크기 등에 따라 상황은 얼마든 변할 수 있다봅니다.
또한 CPU나 디스크도 기본적으로 얼마마한 서버 스펙이냐에 따라서,
영향이 있을수도 또, 영향이 전혀없을수도 있겠죠.
뭐.. 제 생각은 그렇습니다. case by case 라고..
상용 파일 압축 로직들은 대부분, 성능을 위해 대량의 버퍼를 잡습니다.
메모리가 부족하면 버퍼를 작게 잡게되고, 버퍼가 작으면 디스크 접근을 자주하게 됩니다.
속도 위주의 로직들은 메모리 복사보다 메모리에서의 데이터 압축이 더 빠릅니다.
이 경우 cpu도 중요하지만 메모리 대역도 중요하고 결정적으로 짧은 시간에 압축이 끝나기 때문에
디스크 성능이 전체 성능에 크게 영향을 미칩니다.
효율 위주의 로직들은 연산량이 많습니다.
대부분 디스크 IO는 압축이 끝나길 기다립니다.
허나 요새 몇몇 프로그램들은 파일 단위로 코어 수만큼 동시에 압축을 수행하기도 합니다.
이럴 경우 이동범님 말씀처럼, 코어수가 많은 CPU에서 작은 크기의 파일이 많으면 디스크 IO에서 일정 병목이 생깁니다.
일반적으로 쓰이는 압축 프로그램들 다수가, 기본 설정 상태에서는 보통 CPU 성능에 더 많이 영향 받습니다.
아주 전송률 떨어지는 구형 디스크가 아니라면 말이죠.
디스크 단편화가 심한 경우가 아니라면 작은 파일들이 어느 정도 있다고 해도 읽기는 랜덤억세스가 많더라도
쓰기는 시퀀셜 억세스가 주가 되니까요(여러 파일을 하나로 묶으니까).
내 사양에서 압축 속도를 높이기 위해 어떤 컴포넌트에 투자하는게 나을지는...
메모리가 넉넉하다면 램디스크 일정 잡고 샘플 파일들 추출해서 디스크에 두고 한것과 시간 비교를 해보시면 됩니다.
차이가 크다면 디스크에 투자해야겠죠.
데이타가 움직이는 경로를 보시면 아실겁니다
하드에 빨리저장이 되는것도 중요 하지만 데이터가
메모리를 거쳐 cpu로 갑니다
여기서 문제가 되는부분이 메모리가 느리다는 것입니다
이부분을 해결되는부분이 cpu의 케쉬메모리 입니다
케쉬메모리가 상당히 빠르기 때문에 데이타병목현상을 해소
해줍니다
결국cpu가 빨라도 케쉬메모리가 작으면 빨라질수가 없을 겁니다
Cpu에 케쉬가 많은경우 압축시 영향을 미칠수 이겠죠
압축 대상 파일의 개수, 압축율, 전체 파일 크기 등에 따라 상황은 얼마든 변할 수 있다봅니다.
또한 CPU나 디스크도 기본적으로 얼마마한 서버 스펙이냐에 따라서,
영향이 있을수도 또, 영향이 전혀없을수도 있겠죠.
뭐.. 제 생각은 그렇습니다. case by case 라고..
작은 파일의 갯수가 많을수록 하드빨 .......
큰파일 갯수가 적을수록 CPU빨 ......
하지만 가장 중요한 건 어떤 압축프로그램을 사용하느냐의 선택 .....
http://www.bodnara.co.kr/bbs/article.html?D=7&cate=10&d_category=14&num=98799
상용 파일 압축 로직들은 대부분, 성능을 위해 대량의 버퍼를 잡습니다.
메모리가 부족하면 버퍼를 작게 잡게되고, 버퍼가 작으면 디스크 접근을 자주하게 됩니다.
속도 위주의 로직들은 메모리 복사보다 메모리에서의 데이터 압축이 더 빠릅니다.
이 경우 cpu도 중요하지만 메모리 대역도 중요하고 결정적으로 짧은 시간에 압축이 끝나기 때문에
디스크 성능이 전체 성능에 크게 영향을 미칩니다.
효율 위주의 로직들은 연산량이 많습니다.
대부분 디스크 IO는 압축이 끝나길 기다립니다.
허나 요새 몇몇 프로그램들은 파일 단위로 코어 수만큼 동시에 압축을 수행하기도 합니다.
이럴 경우 이동범님 말씀처럼, 코어수가 많은 CPU에서 작은 크기의 파일이 많으면 디스크 IO에서 일정 병목이 생깁니다.
일반적으로 쓰이는 압축 프로그램들 다수가, 기본 설정 상태에서는 보통 CPU 성능에 더 많이 영향 받습니다.
아주 전송률 떨어지는 구형 디스크가 아니라면 말이죠.
디스크 단편화가 심한 경우가 아니라면 작은 파일들이 어느 정도 있다고 해도 읽기는 랜덤억세스가 많더라도
쓰기는 시퀀셜 억세스가 주가 되니까요(여러 파일을 하나로 묶으니까).
내 사양에서 압축 속도를 높이기 위해 어떤 컴포넌트에 투자하는게 나을지는...
메모리가 넉넉하다면 램디스크 일정 잡고 샘플 파일들 추출해서 디스크에 두고 한것과 시간 비교를 해보시면 됩니다.
차이가 크다면 디스크에 투자해야겠죠.