김제연 2017-03

저건.. 다른 프로그램을 실행시키는거라서 멀티 프로세싱으로 처리가 안될껍니다...
32번 실행이 오래걸리는건 1개 끝나고 2번째 3번째 이런식으로 실행되서 그러신건가요?

그런거라면... 프로그램을 병렬실행 시키는 방법을 사용해보세요 ..
gmx 란 프로그램을 32개 다중 실행 하는거죠 ..

지금은 1개 끝나고 2개 3개 돌아가나요?아니면 32개가 한번에 돌아가는지?

네이쳐 2017-03

multiprocessing 안쓰면, 한 개씩 돌아갑니다. 첫 번째 끝나면 두 번째, 두 번째 끝나면 세 번째... 이렇게 계산이 돕니다.
이런 방법으로 다른 명령어도 사용할 생각인데 한번 계산에 10분이 걸리면 320분이나 기다려야 되서요 ㅠ
위에 temp_set에 지금은 32개가 있는데, 100개가 넘어갈 수 도 있거든요..

multiprocessing이 병렬로 계산되게 해주는게 아닌가요?
그럼 multiprocessing은 subprocess와 같이 사용할 수 없는 건가요??

항상 신경써 주셔서 감사합니다.

하셀호프 2017-03

http://www.gromacs.org/Documentation/Acceleration_and_parallelization
참고용입니다.

네이쳐 2017-03

md 계산이 아니라, 분석을 코어 수 만큼 동시에 진행하도록 코드를 짜고 싶습니다~

김제연 2017-03

http://brownbears.tistory.com/214

한번 참고 해보세요 .. 아래
import subprocess
from time import time


def run_sleep(period):
    proc = subprocess.Popen(['python','waiting30.py'])
    return proc

start = time()

procs = []
for _ in range(10):
    proc = run_sleep(0.1)
    procs.append(proc)

for proc in procs:
    proc.communicate()

end = time()

print('finished in %.3f seconds' % (end - start))

이 소스로 하시면... 한번에 10 개 병렬 실행 할 수 있네요

네이쳐 2017-03

감사합니다~ 참고해 공부해 보겠습니다~~

네이쳐 2017-03

보고 따라 해봤는데요,

temp_set = [300.00, 302.88, 305.78, 308.70, 311.65, 314.61, 317.60, 320.62, 323.65, 326.71, 329.79, 332.89,
336.02, 339.17, 342.35, 345.55, 348.77, 352.02, 355.29, 358.58, 361.90, 365.25, 368.62, 372.01, 375.44, 378.88,
382.36, 385.86, 389.39, 392.95, 396.53, 400.13, 403.30, 407.81, 410.21]

def post_processing():
    command = "gmx trjconv -s grompp.tpr -f traj_comp.xtc -o md_%02d.xtc" % temp_set.index(temp)
    gmx_trjconv_xtc = Popen(command, stdin=PIPE, shell=True, universal_newlines=True)
    gmx_trjconv_xtc.stdin.write("1\n")
    gmx_trjconv_xtc.stdin.flush()
    return gmx_trjconv_xtc

start = time()

procs = []

for _ in range(1):
    for temp in temp_set:
        gmx_trjconv_xtc = post_processing()
        procs.append(gmx_trjconv_xtc)

for gmx_trjconv_xtc in procs:
    gmx_trjconv_xtc.communicate()

end = time()

============================================================================================================
우선, 제일 아래에
gmx_trjconv_xtc.communicate(input="1\n") 이라고 넣으니까, 작업들이 병렬로는 입력이 되는 것 같은데,
"1" 값을 첫 번째 작업이 끝나고 두 번째 작업에 입력되고, 두 번째 작업이 끝나면 세 번째 작업에 입력되고... 결국 순차적으로 계산이 되더라구요

그래서,
gmx_trjconv_xtc.stdin.write("1\n")
gmx_trjconv_xtc.stdin.flush()
을 위로 빼주니까 동시에 계산이 진행이 되네요~

또, CPU 코어가 32개 인데 temp_set에는 총 35개가 있습니다.
그래서 32개의 계산이 끝나면 나머지 3개의 계산이 돌아갈 줄 알았는데,
35개 작업모두 동시에 계산이 되네요

제연님 덕분에 일단 해결은 한 것 같습니다 ㅎㅎ 감사합니다.
좀 다듬고 개선할 점이 있는지 공부해야 겠네요

김제연 2017-03

무슨 말인지 모르겠지만.. 그래도 도움 되셨으니 다행입니다.. 멋진일 하시는거 같은데 .. 부럽습니다 ㅎㅎ 전 수학이 잼병이라 ㅋ