현재 전국 지번 등과 같은 대용량 데이터를 통계에 활용하는 작업을 진행중입니다.
기본 단위가 몇천만건에서 몇 억건을 넘나들기에 한번 통계를 돌리면 기본이 일주일을 넘기기에 한참 통계를 진행하던 중
잘못된 조건을 발견한다거나 하면 그야말로 헬인데요 ㅠㅠ
복잡한 연산이 아닌고로 GPU를 이용하여 (예를들어 Cuda) 처리할 수 있는 방법이 있을까요?
GPU쪽은 다뤄본적이 없어서 감이 안오네요..
간략히 힌트 좀 부탁드립니다~~
현재 전국 지번 등과 같은 대용량 데이터를 통계에 활용하는 작업을 진행중입니다.
기본 단위가 몇천만건에서 몇 억건을 넘나들기에 한번 통계를 돌리면 기본이 일주일을 넘기기에 한참 통계를 진행하던 중
잘못된 조건을 발견한다거나 하면 그야말로 헬인데요 ㅠㅠ
복잡한 연산이 아닌고로 GPU를 이용하여 (예를들어 Cuda) 처리할 수 있는 방법이 있을까요?
GPU쪽은 다뤄본적이 없어서 감이 안오네요..
간략히 힌트 좀 부탁드립니다~~
예) 두 개의 벡터를 더하는것: a[i] + b[i] 연산은 a[i + 1] + b[i + 1] 과 독립적으로 행해질 수 있습니다
데이터끼리 의존성이 있다면 성능이 좋지 않습니다
특히 Branch가 많이 사용될수록 그렇습니다
데이터끼리의 의존성이 좀 많이 있어서 시작도 전에 접어야 하나.. 싶습니다 ㅠ
cuda는 연산자의 양으로 승부하는거니 쉽지 않을겁니다
분석용 nosql중 cuda를 쓰는게 있다라는 기사는 본적이 있긴하네요
다만, 이게 기존 분석용 툴과 호환성은 따져보세요
대안으로 메모리 db계열(아마 mysql도 있을겁니다.알티베이스나...)
아니면, sql튜닝밖에 없긴하네요
처리 방식에 따라 다르지만,ssd와 빠른 cpu가 필요합니다.
참고로 무한 루프보다 최소의 sql실행이 rdbms에서는 빠릅니다
일단 최대한 있는 자원을 활용하면서도 효율적으로 빨리(!) 통계를 낼 수 있는 방안을 모색중입니다.
말씀하신대로 쿼리 최적화와 적절한 인덱싱으로 속도향상이 어느정도 되었는데 이게 머신 성능의 물리적인 한계가 있기에
쉽지가 않네요 ㅠㅠ
(물론 테스트 환경이 서버 노드 1대에 http로 넣는 식이어서 그런지도 모르겠습니다.)
노드 여러대로 구성하고 데이터 입력을 Kibana 활용해서 하면 효과가 있을까요?
mongo db 샤딩해서 aggrigation 해볼까도 생각해봤는데 코드들을 거기에 맞게 다시 작성해야하는데다
변경 후에 효율이 나올까 하는 부담감에 실행은 못하고 있었습니다..
암튼 ES도 다시한번 고려 해봐야겠습니다.
감사합니다!
http://heterodb.github.io/pg-strom
간략한 동작원리 설명 링크 - 성능 비교 그래프 수치값은 엄청나군요.
https://community.hortonworks.com/articles/60416/pg-storm-let-postgresql-run-faster-on-the-gpu.html
무료입니다만 Windows에서는 안됩니다.
리눅스만 지원한다고 나와있습니다. NVMe SSD 및 CUDA 권장하네요.
한번 레퍼런스를 찾아봐야겠습니다.
감사드립니다!^^
지금은 너무 느려서 힘들어요 ㅠㅠ
https://eng.uber.com/aresdb/
https://github.com/uber/aresdb
알려주신 PG-Storm과 어떻게 차이가 나는지 직접 비교 해보고싶네요..
일단 급한 불부터 끄고요..^^;
일단은 급한대로 데이터 테이블들을 Memory Storage Engine에 올려놓고 연산중인데 일단 기존 파일방식에 비해 월등히 빨라진 연산속도에
약간은 만족 중입니다...ㅎㅎ
일단 쿼리최적화 및 RDBMS 튜닝을...