ligands_temp 라는 백만 개 정도 되는 데이터를 한번에 읽어서, 코어 40개에 처리하니까 너무 느려서
10만 개씩 데이터를 끊어서 처리를 해보려고
ligands_gen으로 10만 개씩 나누고
for ligands_gen_batch in ligands_gen:로 처리했습니다.
그런데 원래는 40개 job 모두 잘 되었는데,
지금은 4개만 살아서 돌아갑니다. 왜 그런건지 모르겠습니다 ㅠ.
도와주세요~
ligands_temp 라는 백만 개 정도 되는 데이터를 한번에 읽어서, 코어 40개에 처리하니까 너무 느려서
10만 개씩 데이터를 끊어서 처리를 해보려고
ligands_gen으로 10만 개씩 나누고
for ligands_gen_batch in ligands_gen:로 처리했습니다.
그런데 원래는 40개 job 모두 잘 되었는데,
지금은 4개만 살아서 돌아갑니다. 왜 그런건지 모르겠습니다 ㅠ.
도와주세요~
저는 multiprocessing을 다음처럼 이용합니다.
def img_upsize_yolo(img_file_name):
img = cv2.imread(img_file_name)
...
cv2.imwrite(img_file_name, img)
yolo_img_list = [...]
multiprocessing.Pool(os.cpu_count()).map(img_upsize_yolo, yolo_img_list)
그 동안의 경험으로는 이유없이 메모리 누수되는 경우가 있는 것 같습니다.
ligands_gen 을 10만개로 하셨는데 1000개나 그런식으로 줄여보는 것도 하나의 방법이 될 수있을 것 같습니다.
분명히 조금 빨리 일마치고 노는 코어가 생기는데 어짜피 분석 시간은 길고 그런거에 영향을 받지는 않는 것 같습니다. ;)
저의 경우에는 for 안에 for 안에 for를 넣는 3단으로 구성했을 때, 이상하게 중간에 멎는 현상이 있었습니다.
for i in list1:
for j in list2:
for k in list3:
~~~
배치를 바꿔서 가장 안쪽의 것이 빨리 바뀌게 해주니 이상하게 해결된 적이 있습니다.