33GB 짜리 문서 69개를 빨리 읽어들이는 방법?

   조회 4600   추천 0    


a

짧은글 일수록 신중하게.
ZSNET5 2015-04
메모리가 충분하다면 RAMDISK를 써 보세요..
박문형 2015-04
하드를 고집하시면 하드웨어베이스 레이드카드를 설치하시고

SSD도 괜찮으시면 SSD로 가시면 됩니다.
2015-04
33k*백만 = 33기가네요.
작업환경이 애매한데요, 윗분처럼 램드라이브가 제일 빠르겠구요, SSD를 하나 더 추가해서 읽기용과 쓰기용을 분리하는방법도 생각해볼수 있겠습니다.

정리해보면 속도순서는 1.램드라이브, 2.레이드캐시, 3.SSD R/W분리 가 되겠네요.
김제연 2015-04
프로그래밍이 어떻게 되어있는지도 굉장히 중요 할것 같네요
강희환 2015-04
오래 걸린다는 표현이 애매하네요.
현재 상태와 원하시는 상태에 대한 구체적인 서술을 해주시면 좋을 것 같습니다.
보통 CPU에서 처리하는 작업과 IO 처리에 관한 작업은 비동기적으로 처리 가능하기 때문에...
CPU 처리 시간을 0으로 가정하면, 아무리 최대한 빠르게 해봐야 전체 데이터를 순차적으로 읽어서 순차적으로 쓰는 정도에 걸리는 시간에 한계가 됩니다. 즉 '처리시간 = 전체데이터의 양  / I/O 대역폭' 이 됩니다
지금 상태가 그 한계에 가까워 있는지 보시고 그렇다면 I/O 대역폭을 늘려야 하고요... (실제 방법은 윗에 분들께서 달아주신 방법대로...)
그렇지 않고 I/O가 여유로운 상황이라면 프로그램이나 처리 방식을 개선하는 방법도 있겠습니다. (간단하게는 백만개를 처리하는 작업을 50만개씩 나눠서 동시에 2개를 돌릴 수도 있겠습니다.)


QnA
제목Page 2189/5709
2015-12   1684957   백메가
2014-05   5150432   정은준1
2016-12   4613   회원K
2014-08   4613   나비z
2016-11   4613   ultra뽕
2014-09   4613   가빠로구나
2023-10   4613   신도우
2016-01   4613   DoubleSH
2007-04   4613   김승용
2022-05   4613   todays1
2014-11   4613   풀로드시스템
2016-01   4613   머리가아프다
2016-09   4613   컴박
2016-07   4613   올빼미잠와
2005-12   4613   김규학
2008-08   4613   김재식
2016-05   4614   백두산
2015-10   4614   무아
2016-05   4614   초이스
2018-01   4614   나라사랑
2018-04   4614   츄리토링
2017-06   4614   퍼싱글