33GB 짜리 문서 69개를 빨리 읽어들이는 방법?

   조회 4645   추천 0    


a

짧은글 일수록 신중하게.
ZSNET5 2015-04
메모리가 충분하다면 RAMDISK를 써 보세요..
박문형 2015-04
하드를 고집하시면 하드웨어베이스 레이드카드를 설치하시고

SSD도 괜찮으시면 SSD로 가시면 됩니다.
2015-04
33k*백만 = 33기가네요.
작업환경이 애매한데요, 윗분처럼 램드라이브가 제일 빠르겠구요, SSD를 하나 더 추가해서 읽기용과 쓰기용을 분리하는방법도 생각해볼수 있겠습니다.

정리해보면 속도순서는 1.램드라이브, 2.레이드캐시, 3.SSD R/W분리 가 되겠네요.
김제연 2015-04
프로그래밍이 어떻게 되어있는지도 굉장히 중요 할것 같네요
강희환 2015-04
오래 걸린다는 표현이 애매하네요.
현재 상태와 원하시는 상태에 대한 구체적인 서술을 해주시면 좋을 것 같습니다.
보통 CPU에서 처리하는 작업과 IO 처리에 관한 작업은 비동기적으로 처리 가능하기 때문에...
CPU 처리 시간을 0으로 가정하면, 아무리 최대한 빠르게 해봐야 전체 데이터를 순차적으로 읽어서 순차적으로 쓰는 정도에 걸리는 시간에 한계가 됩니다. 즉 '처리시간 = 전체데이터의 양  / I/O 대역폭' 이 됩니다
지금 상태가 그 한계에 가까워 있는지 보시고 그렇다면 I/O 대역폭을 늘려야 하고요... (실제 방법은 윗에 분들께서 달아주신 방법대로...)
그렇지 않고 I/O가 여유로운 상황이라면 프로그램이나 처리 방식을 개선하는 방법도 있겠습니다. (간단하게는 백만개를 처리하는 작업을 50만개씩 나눠서 동시에 2개를 돌릴 수도 있겠습니다.)


QnA
제목Page 2856/5725
2015-12   1769953   백메가
2014-05   5244544   정은준1
2015-04   8989   빠시온
2015-04   4787   김민철GC
2015-04   4211   yuyuyu
2015-04   4551   VSPress
2015-04   5926   신은왜
2015-04   4379   승후니도쿄
2015-04   4784   세개의시간
2015-04   5433   도라에멍
2015-04   5491   스틸러스
2015-04   10512   2cpumem
2015-04   12293   우주제일미남
2015-04   4190   김장우
2015-04   5616   fedaykin
2015-04   5256   겨울나무
2015-04   4632   moby
2015-04   4193   도라에멍
2015-04   4584   amplifier
2015-04   4514   고양이양이
2015-04   4117   임시현
2015-04   10291   catstyle