박문형 2015-12

GPU 시스템에서 CPU는 단지 외부 인터페이스를 연결해주는 브릿지 정도로 알고 있습니다.

GPU 시스템에서 CPU가 그리 높을 필요가 없지요..

오홍식 2015-12

어떤 솔루션이냐에 따라 약간 차이가 있습니다.
CUDA라면 커널을 올리고 데이터 복사가 된 이후부터는 CPU가 할 일이 별로 없습니다.
카피엔진이 두 개 이상인 Quadro나 Tesla급이면서 데이터 송수신이 잦은 경우 양방향 통신(멀티쓰레드)을 제어해야하는 업무가 추가되기는 합니다만
방법론적으로 보면 커널이 실행된 이후 CPU는 연산과정에서 의미가 없습니다.

커널을 실행파일과 함께 컴파일 하지 않는 경우 (특히 Shader기반, OpenGL Compute Shader와 같이)
실행때 커널/셰이더를 컴파일을 해줘야 하기 때문에 CPU의 성능이 프로그램 최초 실행속도에 영향을 줍니다.
다만 이 경우는 여러개의 컴파일을 동시에 실행하게 작성하지 않는 경우 (대부분의 경우) 다중작업과 상관이 없습니다.

OpenCL은 멀티코어CPU의 의미가 있을 수 있습니다.
OpenCL의 입장에서 GPU와 CPU는 모두 개별 CU로 취급 가능하기 때문에 이론적으로는 CPU와 GPU를 동시에 활용한 멀티작업을 할 수 있습니다.
이론만 따지면 CPU, GPU, 부가적인 처리장치(XeonPi등..)을 개별 CU로 묶어 데이터처리 클라이언트로 만들고
그 클라이언트를 클라우드로 묶어 상위 호스트 입장에서 개별 CU로 취급도 가능합니다.
다만, 각 하드웨어 벤더가 OpenCL용 드라이버를 각기 만들고 있는 상황이고, 최적화 문제도 있기 때문에
실제 서로 연계해서 사용시 안정적일지는 확실하지 않습니다..

하셀호프 2015-12

그러니까 문제는 가성비이지요. 한 머신은 쿼드 코어 cpu 2.8기가에 지포스 980 카드 두개의 시스템이고
다른 머신은 노스우드 2.8기가 cpu에 같은 지포스 980 두개로 시스템을 꾸몃다고 생각해봅시다. 시스템이 단가는
상당한 차이가 있을 것입니다만 성능은 어떨까요. 만일 어차피 cpu의 단일 코어만 계산에 기여한다면
쿼드 코어중 나머지 3개 코어는  CUDA의 경우는 노는 것이고 openCL의 경우 추가로 연동되겠지요.
980 카드는 코어가 2048개입니다 2천개 쓰레드가 동시에 가동 가능하다는 것입니다. 두개를 설치하면
4천개 코어입니다. 3개의 추가 코어가 의미가 있을까요?

오홍식 2015-12

모든 연산을 GPU로 처리 가능하고 커널이 바뀌지 않으면서 올라간 데이터만 처리하면 되는 이상적인 경우는 그렇습니다.
하지만 결과는 상황에 따라 다릅니다.

설계 목표의 특징으로 인해, GPU의 상대적인 약점은 Latency이고 CPU의 상대적인 약점은 Throughput입니다.

CPU는 처리할 데이터가 같은 연산이 반복되는 대량의 작업을 필요로 하는 경우 처리할 주체 (ALU) 수에 직접 영향을 받을 수 밖에 없습니다.
GPU는 분기문 무시 방침, VRAM의 대역폭, 제한된 캐시, 스케쥴러의 성능등의 약점을 가지고 있고, GPU 세대에 따라서 데이터 타입(char,int,float..)의 영향도 있습니다. 결과적으로 아무리 수천의 코어를 동원해도 실제 작동은 몇개만 하는 상황도 가능합니다.

GPGPU 시스템은 위의 서로간 상대적인 약점을 잘 보완해 줄 때 최상의 성능을 가질 수 있습니다.
DAQ, 네트워크등으로 수집되는 데이터를 잘 정리하고 GPU가 처리하기 쉬운 형태로 넘겨주고, 처리된 데이터의 예외적인 후처리는 CPU의 몫이고,
데이터병렬, 프로그램병렬의 조건이 잘 갖춰진 상태에서 반복작업을 최대한 효율적으로 실행하는것이 GPU의 목적입니다.

다시말해, 시스템 전체가 같은 프로그램을 반복해서 수행하는 경우라면 cpu코어는 큰 의미가 없습니다. (gpu 1코어가 cpu 1코어와 동급이 아니라는 것을 감안해도)
이것은 gpu로 만든 클라우드시스템, 데이터센터등의 경우 cpu의 성능이 뛰어나지 않은 이유가 됩니다.

하지만 시스템의 구성 목적에 따라서 gpu외적인 것을 처리하기 위해 많은 cpu코어가 도움이 되는 경우는 있습니다.
예를 들어 tegra tk1[4core arm + 196 cuda core]으로 자동주행차량을 제어시 arm은 네트워크, 카메라등 외부장치 및 os를 관장, cuda는 영상처리를 관장하는등의 경우입니다.

하셀호프 2015-12

자세한 설명 감사드립니다. 몇가지 추가 질문은요 gpu로 운용하는 클라우드 시스템이나 데이터 센터이 예를 좀 알려주실 수 있나요?그리고 구성 상세 정보를 알 수 있을까요? 개인적인  NAS도 개인 데이터 센터라고 본다면 원리상으로 gpu 기반으로 구축할 수 있을 까요? 자동 주행 차량에서 쿼드 코어 arm에서 os는 linux smp를 사용하는 것인가요?싱글, 듀얼, 쿼드에서 성능 향상은 어느 정도 인가요?

오홍식 2015-12

이어져 오는 질문의 내용으로 보아 답변을 도와드리기 힘들것이라 생각 합니다.
gpu의 코어는 혼자 작동가능하지 않다는것을 참고로 병렬처리의 개념을 확인해 보시는것을 추천드립니다.
어떤 데이터를 어떻게 쓸까 -> gpu가 적합한가 를 만족해야 의미가 있습니다. 다시 말해, gpu는 도구일 뿐이라는것입니다.
자동주행 차량의 경우도 멀티코어를 어떻게 쓰느냐에 따라 성능이 달라지지 코어가 늘어난다고 성능이 비례하지 않습니다.

하셀호프 2015-12

gpu 기반이라는 말씀 때문에 그러시는 모양인데 저사양 cpu + 많은 gpu 같은 형식으로 클라우드나 데이터 센터를 운용하는 예를 묻는 것입니다. 일반적인 클라우드나 데이터 센터는 cpu 만으로 하지 않나요? 같은 형식으로 개인적인 NAS도 가능한지 궁금하구요. 자동 주행 차량에서 쿼드 코어를 사용한 것이 말씀하신 네트워크, 카메라같은 외부 장치나 os를 관장하는데 사용하셨다고 하셨는데 특별한 이유가 있으셨는지 궁금합니다. 그냥 구하기 쉬워서인지 단가 문제였는지 무슨 정책이 있었는지 하는 것입니다. 대답하기 곤란하시다면 할 수 없구요. 해보니까 어떤 점이 좋았다 혹은 좋지 않았다는 것이요. 어떻게 사용하셨는지도 궁금하구요. cpu 멀티 코어를 사용하는 방법은 말씀드린 smp 외에는 생각나는 것이 없기도 하구요. 제가 생가하기로는 특별한 소프트웨어적인 장치가 없다면 하드웨어 멀티코어가 있다고 사용할 수 있는 것은 아닌 것으로 알기 때문입니다.

오홍식 2016-01

답변을 도와드리기 힘들것이라 생각한다고 적은것은 GPGPU의 용도에 대해 오해가 있으시기 때문입니다.
말씀드린대로 GPU는 적어도 현시점에서 보완재이지 대체재가 아닙니다.
다시말해 그것을 쓸 수 있도록 구성되고 사용되는 시스템이 아닌이상 의미가 없습니다.

1. 저사양 CPU + GPU, 그리고 그 클라우드 서비스는 아마존 EC2의 GPU 인스턴스를 참고로 하시면 될 듯 합니다.
2. NAS의 경우가 제가 답변 이전 사족을 달게된 이유와 비슷합니다. 그럴수도 아닐수도 있습니다.
3. 자동주행차랑 쿼드코어 : MCU (GPIO 제어 가능한)의 목적이 외부장치 제어이고, 쿼드코어는 Tegra K1의 구성이 쿼드이기 때문입니다.
4. 멀티코어 활용을 위한 특별한 소프트웨어.. : 이것도 2번항과 비슷합니다. 구성과 프로그램을 어떻게 만드느냐에 따라 다릅니다. 멀티코어를 사용할 필요가 있다면 쓰게 만드는게 당연합니다.

하셀호프 2016-01

답변이 잘되었습니다. 감사합니다. 아마존 ec2 보니까  비디오 스트림 서비스를 gpu로 한다네요. 그렇다면 개인용 NAS도 이런 형식으로 구축이 가능할 것같습니다. 그러니까 파일이나 일반 데이터는 cpu로 동영상은 gpu를 이용하는 개념으로 말입니다. 저비용으로 상당한 성능향상을 도모할 수 있을 것으로 생각됩니다. TegraK1의 arm가 atom으로 바뀌면 단가는 올라가겠지만 사용자는 늘 것같습니다.

r이승원r 2016-01

역시 2cpu엄청난 고수분들이십니다..
무작정 tesla k20 하나 얻어와서 꼽고 공부시작했는데.. 좋은정보 얻어갑니다!