백만스물하나안녕하세요
C#으로 Excel 파일의 데이터를 읽어서 처리 하고 있습니다.
하는 일은 파일을 열어서 한줄 한줄 읽어 특정 조건을 만족하는 데이터를 읽어서
MySQL DB에 저장하는 것 입니다.
한 파일 처리 하는데 10초 정도 소모 됩니다.
사용하고 있는 PC의 코어가 많아서
프로그램을 여러개 실행 시켰습니다.
그런데 N 배로 빨라지지 않아서 이유가 뭔지 알고 싶습니다.
PC사양은 Opteron 6276(물리 8코어) 4개이고 램은 256GB 입니다.
현재 사용하고 있는 모양은 아래와 같습니다.
동일한 프로그램을 처리하는 파일 범위를 다르게 해서 8개 수행하고 있습니다.
이 상태에서 CPU 점율이 크게 변화가 없고, 속도도 1개 처리하는 것 보다
각각 처리하는 시간이 길어지면서 단위 시간당 처리량의 합계가 거의 동일하거나 오히려 느립니다.
작업관리자 화면은 아래와 같습니다.
구글링 하다 보니 엑셀은 멀티 스레드를 지원하지 않는다는 얘기가 있는데
그것 때문일까요?
또한가지는 엑셀파일을 순차적으로 읽어서 처리 하는것이라면 속도가 빠를수 없습니다.
리런작업은 클럭이 높은 시피유가 더 좋습니다.
c# 에서 처리를 한다면 로직을 바꾸면 좀더 효율적으로 가능합니다.
3개의 프로세스를 만들어 엑셀 파일을 처리 한다면 빠를수 있습니다.
예)
엑셀파일 라인 전체 갯수 300,000 줄 이라고 가정할떄
1프로세스는 1부터 100,000 까지
2프로세스는 100,001 부터 200,000 까지
3프로세스는 200,001 부터 300,000 까지
더 많은 프로세스를 만들면 더 빨리도 가능합니다.
보통은 이렇게 프로그램을 안만드는것이 문제 입니다.
로직만 몇개 더 추가 하면 빠른 작업이 가능합니다.
멀티 프로세스로 만드는 것과
프로그램을 여러개 실행시키는게 차이가 있는지 궁금합니다.
멀티 프로세스로 한개 파일을 나눠서 수행하는 것과
여래개 파일을 나누어서 여러개 프로그램으로 처리하는 것인데
아래것이 안되는 것이 이유가 있을까요?
나누어서 계산하건 코어 하나만 가지고 계산하지 않을까요
제가 아는 바로 코어에 분산시켜서 계산할 수 있는 것은 openMP라는 것이 있구요
이것이 아니라면 가상화시켜야 하지 않을까 생각합니다.
32개 코어가 있는데 1개 코어만 죽어라 도는 모양새입니다.
mysql 이 다량의 처리를 잘 할 수 있다는 전제하에...(db 자체를 논하는 게 아니라...시스템 구성상...)
일단...서로 다른 엑셀 파일을 처리하게 하여 여러개를 돌려보시고...
cpu 사용량이 증가한다면...1개의 엑셀 파일을 여러 실행파일이 오픈해서 사용하기 때문이라고 보아야하지 않을까 싶습니다.
만일 그렇다면...엑셀 파일 1개를 여러개로 쪼개는 프로그램을 만들어서 쪼갠 후에 일괄로 처리하는건 어떨런지요?
한 파일을 불러오면 다른 프로세스에서는 해당 파일을 엑세스 할 수 없는 경우도 있었던 것 같습니다.
감사합니다.
데이터 파일 용량이 많이 크지 않다면, 이름을 바꾼 파일을 N개 만들어서 따로 돌리는 방법도 고려해 볼 수 있을 것이라고 생각됩니다.
아이디어 감사합니다
같은 프로그램 여러 인스턴스가 돌아가니 디비에 같은 테이블들이 업데이트 될탠데 사실 디비 인스턴스는 하나인지라.. 여러 작업이 여러 프로세스에서 동시다발적으로 들어와도 얘들을 시퀸셜하게 처리할 수밖에 없거든요.
프로그램 자체를 멀티프로세싱/쓰레딩으로 짜는거나 그냥 여러 인스턴스 돌리는거나 돌아가는 모양에선 별 차이가 없습니다.
단일 파일을 여러 프로세스에서 읽어오는 것도 해당사항이 아닌듯 싶고요.. 어차피 읽기만 하니까..
1개로 돌리니까 10분에 90개 처리 하네요...
참고하세요.
잘 읽어 보겠습니다.
이유는 잘 모르겠는데
여러개 프로그램을 실행시키면
Excel 파일에서 한 줄씩 읽는 부분의 시간이
늘어나네요.
예상하는 것은
Excel 파일을 읽는 Interop 이 여러 스레드에서 접근하는 것을
지원하지 않는 것 같습니다.