RAM에 올라와있는 데이터중 대략 1~3GB정도의 데이터를 RAM의 다른 위치로 옮기는 작업을 하려고 합니다.
(여러번 반복해서 수행합니다)
Parallel.For문 안에서 Buffer.MemoryCopy함수를 이용해서 옮겨보니, CPU점유율도 너무 많이 사용하고, 시간도 오래걸리네요
지금 프로그램에서 다른 연산을 수행하느라 이미 점유율을 8~90%정도 사용하고있어서 리소스를 대기하느라
오래걸리는 것 같기도 합니다.
DMA같은 방식도 찾아보았는데, 이건 주변장치와 통신할때만 가능한 것으로 보이네요.
혹시 CPU점유율을 최소화 하거나, 빠른 속도로 RAM내부의 데이터를 다른 위치로 옮기는 방법을 아시는분이 있으실까요??
아무튼 대용량 메모리를 사본을 만들어서 해야 한다면.. cpu를 소모해서 복사하는수 밖에 없을 겁니다.
그런데.. 임베디드도 아니고 요즘 PC에서 고작(?) 1~3GB 정도 memcpy 한다고 부하가 걸릴만큼 느리진 않을것 같은데
처리하는 양이 많거나 복사횟수가 많은건 아닐까요?
그렇 많은 복사가 필요하다는 것은 연산하는 함수 자체가 잘못 설계된게 아닐까 합니다.
zero-copy 컨셉으로 데이터는 유지하고 인덱스를 옮겨서 데이터를 봐야지
원하는 위치로 데이터를 매번 복사하는건 오버헤드가 너무 큽니다.
아무리 성능이 좋은 CPU를 써도 다량의 메모리 복사가 일어나면
처리속도가 최악으로 떨어집니다. 성능좋은 컴퓨터로 바꾼다고 해결될 문제로 보이진 않네요.
원본소스코드가 존재하는 상황이라면, 능력있는 개발자에게 최적화 수정을 요청해보세요.
https://github.com/st1page/SIMDdemo 의 프로그램을 받아서 해 봤는데... 생각과 다르게 나와서 좀 당혹스럽네요. memcpy도 AVX를 쓰는 것으로 아는데...
3g X 500 개의 메모리 용량을 가진게 아니면 같은 메모리를 공유해서 작업해야하니 문제가 될수 있습니다.
공유하지 않도록 연산 자체를 분할해서 하는게 어떨까요?
C++이면 new, delete 오버라이드하고 공유메모리 관리하는 코드 추가하고 공유하는 프로세스간 shared memory 영역 쓸때 꼬이는 것을 방지하도록 로직 수정하면 가능합니다.
근데 사용하시는 C++이 닷넷 C++인가요? win32api/MFC 사용하는 C++이면 C 함수 호출이 가능하니 이 방법으로 해결 가능하지만, C#이나 닷넷 C++ (마소에서는 닷넷으로 도는 C++을 managed C++이고 부르더군요)이면 답없습니다. 복사 안하고 처리하는 다른 방법 찾아야 할겁니다. 특히 닷넷은 자바처럼 VM/바이트코드방식으로 도는거라 네이티브로 컴파일되는 C++에 비해 퍼포먼스가 더 많이 떨어지고, 저렇게 수시로 기가급 단위 복사하면 풀로드 걸릴수밖에 없습니다.
혹시 닷넷에서 CLR로 C++을 호출해서 사용해도, 퍼포먼스가 많이 떨어질까요??
C++로 복사하는 코드를 수정한다면, memcpy가 가장 좋은 방법일지도 궁금하네요..
아마 C/C++의 memcpy()가 이미 그렇게 구현되어 있을것 같습니다.