쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
인메모리에 저장되어있는 bmp형식의 데이터를 분산처리하는 방법에대해 알아보고 있습니다.
찾아보니, spark라는 플랫폼이 인메모리 처리가 가능한 분산처리 플랫폼이라고 파악했는데,
인메모리 이미지에 대해서 TemplateMatching, Filtering FFT, Conquer, Laplace, Threshold같은 OpenCV 영상처리작업을
분산처리하는 기능이 가능할까요??
그리고 Keras를 이용해서 이미지에 AI를 접목하는 연산도 분산처리로 수행이 가능할까요??
웹상의 대부분의 내용들이 관계형데이터만 이용해서 기능을 구현하고 있어서,
이미지나 영상같은 비관계형 데이터 또한 처리가 가능한지 알고싶습니다.
bmp라고 하시는것 보니 매우 작은 사이즈들의 이미지(256x256 이하)처리로 보이긴 합니다만
추천해 드리고 싶지는 않네요.
bmp를 메모리 상에 올려서 전송을 하면 그걸 다른 라이브러리도 읽어서 처리하고 할텐데
다들 메모리 형식도 다르고 해서 새로운 무언가를 추가할때 마다 그들의 메모리 포맷 형식에 맞추는 작업을 해야 할겁니다.
그냥 파일로 던지면 라이브러리들이 알아서 파일 열고 자기들 메모리 형식으로 바꿔주는 것 정도는 대부분 기본이죠
그래서.... 물론 하면 다 될텐데, 그 플러그인들 다 만들고 하다 보면 개발 시간이 오래걸릴거고 테스트 하는 과정에서 이런 저런 문제점이 나올 수 있어서
그냥 다들 기본적으로 파일로 열고 처리하도록 하시라 조언드리고 싶네요.
파일로 전달이 물론 조금은 시간이 더 걸릴수 있으나, 그건 전체적으로 프로세스가 완성된 이후에
튜닝 요소로 남겨놓는게 개발 시간이 더 짧게 거릴것 같습니다.
그리고 어차피 파일 풀고 메모리에 올리고 하는 작업이 막 그렇게 오래 걸리진 않아서 전체 속도를 보면 아마도 10%내외로 느려질텐데
전체 처리 과정에서 보면 그리 큰 부분은 아니라고 생각합니다. 개발 및 테스트가 빨리 진행되는게 과정상 더 장점이 많을겁니다.