안녕하세요
파이썬으로 제가 사용하는 계산을 자동으로 처리하려고 하는데,
지금까지는 제가 이렇게 사용했습니다. (제대로 짠건지는 모르겠지만 일단 작동은 잘되네요).
계산 한번에 10분이 걸린다고 하면 (코어 1개만 사용합니다), 순차적으로 10분씩 걸려서 끝날 때 까지 너무 오래걸립니다.
cpu 코어가 32개라서 동시에 계산을 하고싶은데, 가능한가요??
조언부탁드립니다.
감사합니다.
안녕하세요
파이썬으로 제가 사용하는 계산을 자동으로 처리하려고 하는데,
지금까지는 제가 이렇게 사용했습니다. (제대로 짠건지는 모르겠지만 일단 작동은 잘되네요).
계산 한번에 10분이 걸린다고 하면 (코어 1개만 사용합니다), 순차적으로 10분씩 걸려서 끝날 때 까지 너무 오래걸립니다.
cpu 코어가 32개라서 동시에 계산을 하고싶은데, 가능한가요??
조언부탁드립니다.
감사합니다.
ffmpeg으로 다수의 음성파일을 트랜스코딩 하려고 했는데 코어1개로만 작업을 하니까 오래걸려서
멀티코어로 해볼라고 삽질을 좀 했었는데 결론은 실패했습니다..
외부 프로그램을 불러오는건 이상하게 안되더라고요..
물론 제가 실력이 많이 미천한고로 가능한것을 못한것일 가능성이 크긴하지만 참고하세요..
일반적인 프로그램들은 CPU 한개만 씁니다.
https://blog.naver.com/PostView.nhn?blogId=woosoung1993&logNo=221639525899
for 문 없이 하나만 할 수 있는 스크립트를 10개 따로 (동시에 백그라운드로) 돌리는 것이 좋지않을까요??
from concurrent.futures import ThreadPoolExecutor
def _do_work(i):
command = "..."
p = Popen(command, ...)
p.communicate(...)
with ThreadPoolExecutor(32) as pool:
pool.map(_do_work, [110, 120, ...])
대강 요런 느낌으로요
하지만, process들이 같은 리소스를 공유해서 사용해야 한다면, 결과는 동일할 거라고 생각됩니다.
절대 그럴 일이 안 생기게 예를 들어 아래처럼 무한 loop을 하나 만들고...
root@ubuntu-20:~/python_subprocess# cat loop.c
#include <unistd.h>
#include <stdio.h>
int main(void)
{
while (1) {
usleep(1);
}
}
컴파일 한 다음, 파이썬에서 돌려보면...
root@ubuntu-20:~/python_subprocess# python3
Python 3.8.2 (default, Apr 27 2020, 15:53:34)
[GCC 9.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import subprocess
>>> proc_list = []
>>> for x in range(10):
... proc_list.append(subprocess.Popen(["./loop"]))
...
>>> proc_list
[<subprocess.Popen object at 0x7f2bdbc332b0>, <subprocess.Popen object at 0x7f2bdbc67520>, <subprocess.Popen object at 0x7f2bdbc67cd0>, <subprocess.Popen object at 0x7f2bdbbe4070>, <subprocess.Popen object at 0x7f2bdbbe40a0>, <subprocess.Popen object at 0x7f2bdbbe4130>, <subprocess.Popen object at 0x7f2bdbbe4190>, <subprocess.Popen object at 0x7f2bdbbe41f0>, <subprocess.Popen object at 0x7f2bdbbe4880>, <subprocess.Popen object at 0x7f2bdbbe48b0>]
잘 살아 있는지 확인... None을 리턴하면 죽지 않고 살았다는 의미임.
>>> [x.poll() for x in proc_list]
[None, None, None, None, None, None, None, None, None, None]
>>>
다른 창에서 돌아가고 있는 지 확인...
root@ubuntu-20:~/python_subprocess# ps ax | grep ./loop
6519 pts/2 S 0:15 ./loop
6520 pts/2 S 0:15 ./loop
6521 pts/2 S 0:15 ./loop
6522 pts/2 S 0:15 ./loop
6523 pts/2 S 0:15 ./loop
6524 pts/2 R 0:15 ./loop
6525 pts/2 S 0:15 ./loop
6526 pts/2 S 0:15 ./loop
6527 pts/2 S 0:15 ./loop
6528 pts/2 S 0:15 ./loop
top으로 확인해도 저정도면 상위 10개를 차지하고 있을 거고요.