백만스물하나안녕하세요
2CPU에서 신세 지고 있는 노성훈 입니다.
AMD 16 Core CPU가 4개 붙어있는 PC로 작업을 하고 있습니다.
작업은 PDF에서 원하는 데이터를 뽑아내는 작업으로
C#을 이용해서 정규식으로 값을 추출하고 있습니다.
한 PDF에서 뽑아내는 값은 42개 입니다.
한개 PDF를 파싱하는데 7초 정도 걸리는데요
값을 뽑아내야하는 PDF의 숫자가 60000개 정도 되서
CPU를 최대한 활용해야 빨리 일이 끝날텐데 (대강 계산해 보니 100시간 좀 넘게 걸리네요 )
Multithread를 사용해도, palleral for 문을 사용해도
평균 CPU 사용량을 50% 넘기기가 힘듭니다.
지난번에 2CPU 덕분에 풀뱅크 해서 램도 여유있어서
램이랑 CPU를 더 팍팍 일 시키고 싶은데
더 좋은 방법이 없을까요?
프로그램을 잘 못하다 보니 좋은 컴퓨터를 구해 놓고도
완전히 다 쓰는게 쉽지 않네요 ㅠㅠ
그리고 .. 이전 글과 같이 100시간 이어도 . 이게 딱 한번만 이뤄지는 것이면 그냥.. 쓰시는 것도 괜찮을것 같네요
매번 빈번하게 발생하면.. 다른 방법을 써야겠지만요.
형태가 일정하면 괜찮을 텐데
회사마다 형태가 다양해서 어려움이 많네요
자료는 첨부 파일로 올리겠습니다
두군데 것을 구해서 비교해 보니
두개가 다른게 꽤 많더라구요
실제 재무제표랑 숫자도 안 맞고요
고민하다가 직접 하고 있습니다
그래도 최근 데이터는 포멧이 통일 된것 같아서
다행이에요
한번 보셔요 ^^
코어가 64 개여서 스레드를 64개만 만들었는데
조금 더 늘여 봐야겠네요
램 디스크도 같이 시도해 보겠습니다
그럼 CPU가 비명을 지를겁니다^^
로지컬 코어 수도 계산 해 봐야겠네요
감사합니다
hw 쓰레드랑 sw 쓰레드랑은 틀리지 않나요?
두세배 더 만들어도 상관없을 껀데요?
1초안에 1만개 프로세스가 만들어지는것은 아니잔아요..
처음 생성된 프로세스가 다음 생성된 프로세스 시작되기까지의 시간처를 계산해보시면 대충 나올듯 합니다..
50% 까지 동작을 한다면 정말 잘돌아가는것이라고 봐집니다..
무한정 올라기지는 읺겠네요
감사합니다
램 디스크도 해 보게 생겼네요 : )
계산 프로그램은 disk i/o를 최소로 해야 합니다.
멀티쓰레드로 돌렸는데요 50% ? 면... 데드락 검사는 하셨겠고...
waiting이 오래 걸리는게 아닐까요 ??
소스 함 올려보세요 ㅋ
빌드를 디버그 모드로 하셨는데 릴리즈 모드로 빌드해서 해보세요.
디스크에서 READ WAIT타임이 상당이 성능에 영향을 줍니다..(저는 디스크 WAIT가 아닌 네트워크 WAIT이였습니다..)
그래서 READ 쓰레드와 파싱 쓰레드를 별도로 두고 메모리위에서 처리하면 처리 속도가 극대화 대더라구요..
예를들면.. READ와 WRITE, PARSER1, PARSER2, CONTROL이 있다고 칠때..
PARSER1과 PARSER2는 동일한 쓰레드의 갯수입니다. PARSER1이 일할때 PARSER2는 일하지 않고 PARSER2가 PARSER1이 일할때 일하지 않습니다.
초기화 단계에서는 READ가 PARSER들의 쓰레드 갯수만큼 데이터를 읽어둡니다.(PARSER1과 PARSER2의 쓰레드의 갯수는 같습니다.)
CONTROL은 PARSER1에게 READ가 읽어온 데이터를 넘겨주고 READ에게 다음작업을 시킵니다.(PARSER2가 할작업)
CONTROL은 READ의 끝을 감지하고 PARSER2에게 데이터를 넘겨줍니다.
CONTROL은 PARSER1의 작업의 끝을 감지하고 PARSER2를 작동시키고
PARSER1들은 WRITE에게 데이터를 넘겨주고 데이터를 정리하여 저장합니다..
위와 마찬가지 방법으로 PARSER1을 준비시킵니다..
제가 작성하고도 어렵네요..