통계 연산용 GPU 서버 구축관련 문의 드립니다.

   조회 1955   추천 0    

회사에서 대용량 데이터를 이용하여 통계를 뽑아내는 작업을 현재는 MySQL DB + Memory Storage 엔진으로 진행중입니다.

(수백만~수천만건 테이블들 조인해서 기간별 통계를 뽑아냅니다.)

기존엔 그냥 InnoDB와 MyISAM을 혼용해서 사용했었구요.. 메모리로만 변경했는데도 속도에 있어서는 많은 발전이 있었지만

현재 통계 속도는 저희의 필요를 충족시키지 못하기에 좀더 빠른 연산을 위해 GPU 서버를 도입하려고 합니다.

PostgreSQL + PG-Storm 생각중이구요. (Uber의 aresDB라는 것도 있길래 알아보았는데 조건에 맞지는 않는듯 하여 패스~)


여기에서 CPU와 GPU의 비율을 어느정도로 잡아야할지 몰라 여쭤봅니다.

GPU가 주력인 서버라고 하더라도 CPU와 메모리가 받쳐줘야할 것 같은데 어느정도까지 영향을 미치는지 궁금하고요.

각각을 비율로 따졌을 때 CPU, 메모리, GPU, GPU 메모리가 연산에 미치는 비율에 대한 의견 부탁드릴게요!


날이 많이 더운데 모두 건강 유의하십시오...:)

하셀호프 08-09
GPU Accelerated SQL queries with PostgreSQL & PG-Strom in OpenShift-3.10
https://blog.openshift.com/gpu-accelerated-sql-queries-with-postgresql-pg-strom-in-openshift-3-10/

We can see that no GPU methods appear and the query is run on a CPU. The execution time increased from ~477 ms to 2824 ms – almost a 6x speedup.

뒷부분에 나오는 글입니다
gpu를 사용하면 6배 빨라진답니다 자세한 환경이나 조건은 잘 모르겠습니다

참고요
     
답변 감사드립니다!
참고 해보겠습니다^^
박문형 08-09
보통 순수 GPU 연산만 한다고 가정하면 CPU는 단지 GPU를 연결하고 데이터가 이동하는 통로로 쓰이기에 CPU 스팩은 그다지 높지

않아도 생각합니다..

그러나 중고 장비 나오는 것들 보면 CPU들은 끝판왕이고 메모리는 풀뱅으로 가는 경우가 꽤 보입니다..

실제로는 BMT 해보는 것이 재일 좋겠지요..
     
의견 감사드립니다!
실제로 구성해보지 않아서 저희가 하는 연산이 GPU 연산만 하게 될지는 모르니 몇가지 변수를 두고 테스트를 해봐야겠군요. ^^
손님 08-09
PostgreSQL 테스트 환경이 있다면 우선 병목지점 검토하신 후 결정하시는게 어떨까 합니다. 저희 경우엔 단순 Select 성능 부족 문제였고 고성능 cpu/ram, p4800x옵테인으로 해결했습니다.
     
감사합니다~ 참고하겠습니다^^
병목지점이 지금 명확치가 않네요..
좀더 여러 다양한 각도에서 측정을 해봐야겠습니다.
          
손님 08-09
좋은 결과 있으시길 바라겠습니다^^
     
08-11
'손님' 님의 의견에 한표 추가합니다.
충분한 메모리와 디스크IO를 확보한 DB서버라면 CPU가 부족할 수 있겠지만 그런경우는 거의 못봤습니다.
정수/실수연산 위주의 쿼리가 주류인 환경이 아니라면 CPU/GPU 리소스를 확충해서 얻는 이득은 별로 없을듯합니다.

DB서버의 리소스 중요도를 저는 이렇게 봅니다.
메모리 >>>>> 디스크IO > CPU

병목지점을 찾아내기 어렵다면 방대한메모리 + NVME SSD + 적당한 CPU 가 일반적인 해결책이라 봅니다.
          
감사합니다 ^^
다행히도 주된 연산 데이터들이 정수/실수라서 기대 해 봐야겠습니다.
일단 메모리는 충분하게 늘려둔 상태이니 쿼리 튜닝 및 병목 제거에 좀 더 신경을 써봐야겠습니다!




제목Page 2/7
2014-04   2598209   회원K
2015-12   12634   백메가
08-09   1956   오월의행복
07-29   2962   deepdi
07-29   1776   워터보이
07-20   2208   김지철
07-04   3404   crom1024
07-03   2663   worrma
07-03   2312   worrma
07-02   1913   TeslaK40
06-28   3012   MOONL
06-27   1620   김지철
06-17   2389   물렁곈
06-13   2598   물렁곈
05-30   2552   DeepBoy
05-23   1867   김버리
05-14   2452   JW마르니
03-30   3396   시오훅이
03-26   3286   불량사장
03-12   3260   영가설
03-04   4602   영가설
02-19   4132   인천이승현