현재 전국 지번 등과 같은 대용량 데이터를 통계에 활용하는 작업을 진행중입니다.
기본 단위가 몇천만건에서 몇 억건을 넘나들기에 한번 통계를 돌리면 기본이 일주일을 넘기기에 한참 통계를 진행하던 중
잘못된 조건을 발견한다거나 하면 그야말로 헬인데요 ㅠㅠ
복잡한 연산이 아닌고로 GPU를 이용하여 (예를들어 Cuda) 처리할 수 있는 방법이 있을까요?
GPU쪽은 다뤄본적이 없어서 감이 안오네요..
간략히 힌트 좀 부탁드립니다~~
현재 전국 지번 등과 같은 대용량 데이터를 통계에 활용하는 작업을 진행중입니다.
기본 단위가 몇천만건에서 몇 억건을 넘나들기에 한번 통계를 돌리면 기본이 일주일을 넘기기에 한참 통계를 진행하던 중
잘못된 조건을 발견한다거나 하면 그야말로 헬인데요 ㅠㅠ
복잡한 연산이 아닌고로 GPU를 이용하여 (예를들어 Cuda) 처리할 수 있는 방법이 있을까요?
GPU쪽은 다뤄본적이 없어서 감이 안오네요..
간략히 힌트 좀 부탁드립니다~~
¿¹) µÎ °³ÀÇ º¤Å͸¦ ´õÇϴ°Í: a[i] + b[i] ¿¬»êÀº a[i + 1] + b[i + 1] °ú µ¶¸³ÀûÀ¸·Î ÇàÇØÁú ¼ö ÀÖ½À´Ï´Ù
µ¥ÀÌÅͳ¢¸® ÀÇÁ¸¼ºÀÌ ÀÖ´Ù¸é ¼º´ÉÀÌ ÁÁÁö ¾Ê½À´Ï´Ù
ƯÈ÷ Branch°¡ ¸¹ÀÌ »ç¿ëµÉ¼ö·Ï ±×·¸½À´Ï´Ù
µ¥ÀÌÅͳ¢¸®ÀÇ ÀÇÁ¸¼ºÀÌ Á» ¸¹ÀÌ ÀÖ¾î¼ ½ÃÀÛµµ Àü¿¡ Á¢¾î¾ß Çϳª.. ½Í½À´Ï´Ù ¤Ð
cuda´Â ¿¬»êÀÚÀÇ ¾çÀ¸·Î ½ÂºÎÇÏ´Â°Å´Ï ½±Áö ¾ÊÀ»°Ì´Ï´Ù
ºÐ¼®¿ë nosqlÁß cuda¸¦ ¾²´Â°Ô ÀÖ´Ù¶ó´Â ±â»ç´Â º»ÀûÀÌ ÀÖ±äÇϳ׿ä
´Ù¸¸, ÀÌ°Ô ±âÁ¸ ºÐ¼®¿ë Åø°ú ȣȯ¼ºÀº µûÁ®º¸¼¼¿ä
´ë¾ÈÀ¸·Î ¸Þ¸ð¸® db°è¿(¾Æ¸¶ mysqlµµ ÀÖÀ»°Ì´Ï´Ù.¾ËƼº£À̽º³ª...)
¾Æ´Ï¸é, sqlÆ©´×¹Û¿¡ ¾ø±äÇϳ׿ä
ó¸® ¹æ½Ä¿¡ µû¶ó ´Ù¸£Áö¸¸,ssd¿Í ºü¸¥ cpu°¡ ÇÊ¿äÇÕ´Ï´Ù.
Âü°í·Î ¹«ÇÑ ·çÇÁº¸´Ù ÃÖ¼ÒÀÇ sql½ÇÇàÀÌ rdbms¿¡¼´Â ºü¸¨´Ï´Ù
ÀÏ´Ü ÃÖ´ëÇÑ ÀÖ´Â ÀÚ¿øÀ» È°¿ëÇϸ鼵µ È¿À²ÀûÀ¸·Î »¡¸®(!) Åë°è¸¦ ³¾ ¼ö ÀÖ´Â ¹æ¾ÈÀ» ¸ð»öÁßÀÔ´Ï´Ù.
¸»¾¸ÇϽŴë·Î Äõ¸® ÃÖÀûÈ¿Í ÀûÀýÇÑ À妽ÌÀ¸·Î ¼ÓµµÇâ»óÀÌ ¾î´ÀÁ¤µµ µÇ¾ú´Âµ¥ ÀÌ°Ô ¸Ó½Å ¼º´ÉÀÇ ¹°¸®ÀûÀÎ ÇÑ°è°¡ Àֱ⿡
½±Áö°¡ ¾Ê³×¿ä ¤Ð¤Ð
(¹°·Ð Å×½ºÆ® ȯ°æÀÌ ¼¹ö ³ëµå 1´ë¿¡ http·Î ³Ö´Â ½ÄÀÌ¾î¼ ±×·±Áöµµ ¸ð¸£°Ú½À´Ï´Ù.)
³ëµå ¿©·¯´ë·Î ±¸¼ºÇÏ°í µ¥ÀÌÅÍ ÀÔ·ÂÀ» Kibana È°¿ëÇؼ Çϸé È¿°ú°¡ ÀÖÀ»±î¿ä?
mongo db »þµùÇؼ aggrigation Çغ¼±îµµ »ý°¢Çغôµ¥ ÄÚµåµéÀ» °Å±â¿¡ ¸Â°Ô ´Ù½Ã ÀÛ¼ºÇؾßÇϴµ¥´Ù
º¯°æ ÈÄ¿¡ È¿À²ÀÌ ³ª¿Ã±î ÇÏ´Â ºÎ´ã°¨¿¡ ½ÇÇàÀº ¸øÇÏ°í ÀÖ¾ú½À´Ï´Ù..
¾ÏÆ° ESµµ ´Ù½ÃÇѹø °í·Á ÇغÁ¾ß°Ú½À´Ï´Ù.
°¨»çÇÕ´Ï´Ù!
http://heterodb.github.io/pg-strom
°£·«ÇÑ µ¿ÀÛ¿ø¸® ¼³¸í ¸µÅ© - ¼º´É ºñ±³ ±×·¡ÇÁ ¼öÄ¡°ªÀº ¾öû³ª±º¿ä.
https://community.hortonworks.com/articles/60416/pg-storm-let-postgresql-run-faster-on-the-gpu.html
¹«·áÀÔ´Ï´Ù¸¸ Windows¿¡¼´Â ¾ÈµË´Ï´Ù.
¸®´ª½º¸¸ Áö¿øÇÑ´Ù°í ³ª¿ÍÀÖ½À´Ï´Ù. NVMe SSD ¹× CUDA ±ÇÀåÇϳ׿ä.
Çѹø ·¹ÆÛ·±½º¸¦ ã¾ÆºÁ¾ß°Ú½À´Ï´Ù.
°¨»çµå¸³´Ï´Ù!^^
Áö±ÝÀº ³Ê¹« ´À·Á¼ Èûµé¾î¿ä ¤Ð¤Ð
https://eng.uber.com/aresdb/
https://github.com/uber/aresdb
¾Ë·ÁÁֽŠPG-Storm°ú ¾î¶»°Ô Â÷ÀÌ°¡ ³ª´ÂÁö Á÷Á¢ ºñ±³ Çغ¸°í½Í³×¿ä..
ÀÏ´Ü ±ÞÇÑ ºÒºÎÅÍ ²ô°í¿ä..^^;
ÀÏ´ÜÀº ±ÞÇÑ´ë·Î µ¥ÀÌÅÍ Å×À̺íµéÀ» Memory Storage Engine¿¡ ¿Ã·Á³õ°í ¿¬»êÁßÀε¥ ÀÏ´Ü ±âÁ¸ ÆÄÀϹæ½Ä¿¡ ºñÇØ ¿ùµîÈ÷ »¡¶óÁø ¿¬»ê¼Óµµ¿¡
¾à°£Àº ¸¸Á· ÁßÀÔ´Ï´Ù...¤¾¤¾
ÀÏ´Ü Äõ¸®ÃÖÀûÈ ¹× RDBMS Æ©´×À»...