ÇöÀç RDBMS·Î ó¸®ÁßÀÎ Åë°è µîÀÇ ÀÛ¾÷À» GPU ȯ°æ¿¡¼­ °¡´ÉÇÒ±î¿ä?

   Á¶È¸ 3967   Ãßõ 0    

현재 전국 지번 등과 같은 대용량 데이터를 통계에 활용하는 작업을 진행중입니다.
기본 단위가 몇천만건에서 몇 억건을 넘나들기에 한번 통계를 돌리면 기본이 일주일을 넘기기에 한참 통계를 진행하던 중
잘못된 조건을 발견한다거나 하면 그야말로 헬인데요 ㅠㅠ

복잡한 연산이 아닌고로 GPU를 이용하여 (예를들어 Cuda)  처리할 수 있는 방법이 있을까요?
GPU쪽은 다뤄본적이 없어서 감이 안오네요..

간략히 힌트 좀 부탁드립니다~~

ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
¹Ú°æ¿ø 2019-08
SIMD 󸮿¡ ¾Ë¸ÂÀº ÀÛ¾÷À̶ó¸é °¡´ÉÇÕ´Ï´Ù
¿¹) µÎ °³ÀÇ º¤Å͸¦ ´õÇϴ°Í: a[i] + b[i] ¿¬»êÀº a[i + 1] + b[i + 1] °ú µ¶¸³ÀûÀ¸·Î ÇàÇØÁú ¼ö ÀÖ½À´Ï´Ù
µ¥ÀÌÅͳ¢¸® ÀÇÁ¸¼ºÀÌ ÀÖ´Ù¸é ¼º´ÉÀÌ ÁÁÁö ¾Ê½À´Ï´Ù
ƯÈ÷ Branch°¡ ¸¹ÀÌ »ç¿ëµÉ¼ö·Ï ±×·¸½À´Ï´Ù
     
±×·¸±º¿ä.. ¸»±×´ë·Î ´Ü¼øÇÏÁö¸¸ ´ë¿ë·® µ¥ÀÌÅ͸¦ ó¸®Çϴµ¥ ƯȭµÈ °Í °°½À´Ï´Ù..
µ¥ÀÌÅͳ¢¸®ÀÇ ÀÇÁ¸¼ºÀÌ Á» ¸¹ÀÌ À־ ½ÃÀÛµµ Àü¿¡ Á¢¾î¾ß Çϳª.. ½Í½À´Ï´Ù ¤Ð
ÀüÅëÀûÀÎ rdbms·Î´Â ½±Áö ¾Ê´Ù°í º¾´Ï´Ù
cuda´Â ¿¬»êÀÚÀÇ ¾çÀ¸·Î ½ÂºÎÇÏ´Â°Å´Ï ½±Áö ¾ÊÀ»°Ì´Ï´Ù
ºÐ¼®¿ë nosqlÁß cuda¸¦ ¾²´Â°Ô  ÀÖ´Ù¶ó´Â ±â»ç´Â º»ÀûÀÌ ÀÖ±äÇϳ׿ä
´Ù¸¸, ÀÌ°Ô ±âÁ¸ ºÐ¼®¿ë Åø°ú ȣȯ¼ºÀº µûÁ®º¸¼¼¿ä

´ë¾ÈÀ¸·Î ¸Þ¸ð¸® db°è¿­(¾Æ¸¶ mysqlµµ ÀÖÀ»°Ì´Ï´Ù.¾ËƼº£À̽º³ª...)
¾Æ´Ï¸é, sqlÆ©´×¹Û¿¡ ¾ø±äÇϳ׿ä
ó¸® ¹æ½Ä¿¡ µû¶ó ´Ù¸£Áö¸¸,ssd¿Í ºü¸¥ cpu°¡ ÇÊ¿äÇÕ´Ï´Ù.
Âü°í·Î ¹«ÇÑ ·çÇÁº¸´Ù ÃÖ¼ÒÀÇ sql½ÇÇàÀÌ rdbms¿¡¼­´Â ºü¸¨´Ï´Ù
     
Àúµµ °Ë»öÇÏ´Ùº¸´Ï GPU DB°¡ ¸îÁ¾·ù ÀÖ±ä ÇÏ´øµ¥ ±×·±°É µµÀÔÇÏ±ä ºñ¿ëÀûÀÎ ¾Ð¹ÚÀÌ ÀÖ°í..
ÀÏ´Ü ÃÖ´ëÇÑ ÀÖ´Â ÀÚ¿øÀ» È°¿ëÇϸ鼭µµ È¿À²ÀûÀ¸·Î »¡¸®(!) Åë°è¸¦ ³¾ ¼ö ÀÖ´Â ¹æ¾ÈÀ» ¸ð»öÁßÀÔ´Ï´Ù.

¸»¾¸ÇϽŴë·Î Äõ¸® ÃÖÀûÈ­¿Í ÀûÀýÇÑ À妽ÌÀ¸·Î ¼ÓµµÇâ»óÀÌ ¾î´ÀÁ¤µµ µÇ¾ú´Âµ¥ ÀÌ°Ô ¸Ó½Å ¼º´ÉÀÇ ¹°¸®ÀûÀÎ ÇÑ°è°¡ Àֱ⿡
½±Áö°¡ ¾Ê³×¿ä ¤Ð¤Ð
Å©·°½º 2019-08
GPU¿Í´Â »ó°ü ¾øÁö¸¸, count, average, sum µîÀÇ Åë°è ÀÛ¾÷À̶ó¸é ElasticSearchÀ¸·Î µ¥ÀÌÅÍ ¿Å°Ü¼­ AggregationÀ¸·Î Åë°è³»´Â°Ô ÈξÀ ºü¸¨´Ï´Ù.
     
ESµµ ¼³Ä¡ ¹× Å×½ºÆ®¸¦ Çغôµ¥ ¹úÅ©µ¥ÀÌÅÍ ÀÔ·Â ¼Óµµ°¡ »ý°¢º¸´Ù ¾È ³ª¿Í¼­¿ä...
(¹°·Ð Å×½ºÆ® ȯ°æÀÌ ¼­¹ö ³ëµå 1´ë¿¡ http·Î ³Ö´Â ½ÄÀ̾ ±×·±Áöµµ ¸ð¸£°Ú½À´Ï´Ù.)
³ëµå ¿©·¯´ë·Î ±¸¼ºÇÏ°í µ¥ÀÌÅÍ ÀÔ·ÂÀ» Kibana È°¿ëÇؼ­ Çϸé È¿°ú°¡ ÀÖÀ»±î¿ä?

mongo db »þµùÇؼ­ aggrigation Çغ¼±îµµ »ý°¢Çغôµ¥ ÄÚµåµéÀ» °Å±â¿¡ ¸Â°Ô ´Ù½Ã ÀÛ¼ºÇؾßÇϴµ¥´Ù
º¯°æ ÈÄ¿¡ È¿À²ÀÌ ³ª¿Ã±î ÇÏ´Â ºÎ´ã°¨¿¡ ½ÇÇàÀº ¸øÇÏ°í ÀÖ¾ú½À´Ï´Ù..

¾ÏÆ° ESµµ ´Ù½ÃÇѹø °í·Á ÇغÁ¾ß°Ú½À´Ï´Ù.
°¨»çÇÕ´Ï´Ù!
          
Å©·°½º 2019-08
Bulk API·Î ³Ö´Â ½º·¹µå¸¦ µ¿½Ã¿¡ ¿©·¯°³ ¶ç¿ö¼­ º´·Ä·Î ³ÖÀ¸¸é »¡¸® µé¾î°©´Ï´Ù. ½º·¹µå ¼ö´Â »ç¾ç¿¡ ¸Â°Ô Á¶Á¤ÇÏ½Ã¸é µÇ°í¿ä. °æÇè»ó ES Ŭ·¯½ºÅͳª DB Áß ÇÑÂÊÀÌ ·Îµå 100% ¶ß±â Á÷Àü±îÁö Á¶Á¤Çß¾ú½À´Ï´Ù.
PostgreSQL + GPU Á¶ÇÕÀÎ PG-Strom ÀÌ ÀÖ½À´Ï´Ù.
http://heterodb.github.io/pg-strom

°£·«ÇÑ µ¿ÀÛ¿ø¸® ¼³¸í ¸µÅ© - ¼º´É ºñ±³ ±×·¡ÇÁ ¼öÄ¡°ªÀº ¾öû³ª±º¿ä.
https://community.hortonworks.com/articles/60416/pg-storm-let-postgresql-run-faster-on-the-gpu.html

¹«·áÀÔ´Ï´Ù¸¸ Windows¿¡¼­´Â ¾ÈµË´Ï´Ù.
¸®´ª½º¸¸ Áö¿øÇÑ´Ù°í ³ª¿ÍÀÖ½À´Ï´Ù. NVMe SSD ¹× CUDA ±ÇÀåÇϳ׿ä.
     
¾Ñ! ÀÌ·±°Ô ÀÖ±º¿ä!
Çѹø ·¹ÆÛ·±½º¸¦ ã¾ÆºÁ¾ß°Ú½À´Ï´Ù.
°¨»çµå¸³´Ï´Ù!^^
          
°ÇÅõ¸¦ º÷´Ï´Ù. ¤¾¤¾
               
³× °¨»çÇÕ´Ï´Ù! Ȥ½Ã³ª ¼º°øÇؼ­ ¼º´É Çâ»óÀÌ ÀÖÀ¸¸é Èı⠿ø®µµ·Ï ÇÏ°Ú½À´Ï´Ù!^^
                    
Èı⠱â´ëÇÏ°Ú½À´Ï´Ù. ¤»¤»
                         
Èı⠾µ ¼ö ÀÖ´Â °á°ú°¡ ³ª¿ÔÀ¸¸é ÁÁ°Ú½À´Ï´Ù ¤Ð¤Ð
Áö±ÝÀº ³Ê¹« ´À·Á¼­ Èûµé¾î¿ä ¤Ð¤Ð
     
Uber¿¡¼­ °³¹ßÇÑ ¿ÀǼҽº GPU DBÀÎ aresDBµµ ÀÖ±º¿ä. ¾ó¸¶Àü¿¡ ã¾Æ³õ°í ÀØ°í ÀÖ¾ú´Âµ¥ ´Ù½Ã »ý°¢³ª¼­ ´ñ±Û¿¡ Ãß°¡ÇصӴϴÙ.
https://eng.uber.com/aresdb/
https://github.com/uber/aresdb

¾Ë·ÁÁֽŠPG-Storm°ú ¾î¶»°Ô Â÷ÀÌ°¡ ³ª´ÂÁö Á÷Á¢ ºñ±³ Çغ¸°í½Í³×¿ä..
ÀÏ´Ü ±ÞÇÑ ºÒºÎÅÍ ²ô°í¿ä..^^;

ÀÏ´ÜÀº ±ÞÇÑ´ë·Î µ¥ÀÌÅÍ Å×À̺íµéÀ» Memory Storage Engine¿¡ ¿Ã·Á³õ°í ¿¬»êÁßÀε¥ ÀÏ´Ü ±âÁ¸ ÆÄÀϹæ½Ä¿¡ ºñÇØ ¿ùµîÈ÷ »¡¶óÁø ¿¬»ê¼Óµµ¿¡
¾à°£Àº ¸¸Á· ÁßÀÔ´Ï´Ù...¤¾¤¾
epowergate 2019-08
RDBMS³ª¸§ÀÌÁö¸¸ ¾ø´Ù°í º¸½É ¸ÂÀ»°Ì´Ï´Ù
     
±×...·¸°ÚÁö¿ä? ¤Ì¤Ð
ÀÏ´Ü Äõ¸®ÃÖÀûÈ­ ¹× RDBMS Æ©´×À»...


QnA
Á¦¸ñPage 1784/5691
2014-05   5016690   Á¤ÀºÁØ1
2015-12   1552153   ¹é¸Þ°¡
2015-02   3966   ±èȲÁß
2019-01   3966   Won³«¿¬
2017-07   3966   ÀÌÈñÁÖ
2018-01   3966   ±èº´Ã¶
2016-10   3966   À嵿°Ç2014
2018-03   3966   ½ÅÀº¿Ö
2017-10   3966   ±è¹Î¼º
2014-10   3966   catstyle
2017-05   3966   ¸Þ·Ð
2017-10   3966   ±¸ÇüÈ°¿ë°¡
2015-09   3967   ÀªÇÁ¸®
2018-01   3967   lovin09
2015-08   3967   ÀÌÀ±ÁÖ
2018-06   3967   ½ÅÀº¿Ö
2019-05   3967   ¿ÀÀ̵µ½½·¹¡¦
2015-03   3967   ±è°Ç¿ì
2017-09   3967   ½Ã°ñÁý³ë¾È
2014-05   3967   ¿Õ¿ëÇÊ
2020-09   3967   ½Ãµµ´Ï
2015-05   3967   ¿ì¼öÇÑ