2017. 4. 7일자로 Quadro와 Adobe에 대한 제 사설에 대해 수정사항이 있습니다.

본래 목적은 Multi CUDA Machine을 탑제한 시스템의 CUDA 사용률과 효율에 대한 테스트였는데, Multi-CUDA를 탑제한 시스템을 구비 못함으로 목적을 상실하게 됩니다. 대신 곁다리로 얻은 정보를 기술합니다.

한계:

하드웨어적 제약:

결과적으로 테스트 해본 CUDA 카드는 NVIDIA K640 하나뿐입니다.
즉 Quadro와 GTX의 차이에 대해서는 이 테스트로는 확인할 수 없었습니다.

또한 이 테스트에서 쿠다 퀄리티가 처참하다 해서, 최신 쿼드로들의 퀄리티도 처참할거라고 보기는 힘듭니다.

Adobe 영상 제작 제품들을 위한 CUDA를 고려해야 하는지에 대한 참고자료로 쓰실 수는 있지만, CUDA카드 선택에 큰 도움은 되기 힘들 듯 합니다.

그리고 시스템 자체의 한계도 있습니다. 일단 CPU나 GPU의 성능을 100% 끌어낼 수 있는 자원이 없었습니다. 램은 부족하고, 스토라지 대역폭은 충분치 못하였습니다.
이를 극복하기 위해 다양한 방법을 시도했고, 그나마 램 디스크를 이용한 방법이 가장 나았지만 이는 CPU성능과 머큐리엔진의 성능을 100% 끌어내지 못하는 결과를 불러옵니다. 따라서 아래의 결과는 CUDA를 사용하면 이정도로 효율이 좋아지는구나 정도의 참고로 보시는 것이 좋습니다.

시간적 제약:

업무적 이유로 실제 4시간 정도밖에 테스트를 할 수 없었습니다.
때문에 양적으로 충분한 테스트를 하지 못했습니다. 이 테스트는 참조 이상의 의미를 지니지 못합니다.

테스트 정보누락:

사용한 영상소스 중 상당수가 외부공개를 위해 허락을 받아야 하는 소스입니다.
왜 그런 소스를 사용했냐면… 테스트 환경에서 그 것 외에 사용할 수 있는 소스가 없었습니다.

대신 분석 그래프와 출력 영상 정보를 부족하게나마 첨부합니다.
그 외에는 글자로 서술하겠습니다.

테스트로 밝혀진 것:

CUDA는 일단 충분한 사용률을 끌어올린다면 가격대비 무시무시한 효율을 보여줍니다. K620이 단 0~11%의 참여로 렌더시간이 40% 단축되는 결과도 있었습니다.

CUDA를 사용한다고 전체 렌더링을 CUDA Only로 하는 것은 아닙니다.
CUDA는 사용되는 부분도 있고 사용되지 않는 부분도 있습니다.

CUDA가 사용될 수 있는 작업이어도 특정 조건하에서는 CUDA가 사용되고, 어떤 경우는 사용되지 않습니다. 대표적으로 Adobe Encoder로 H.264 압축을 할 때, 렌더링 하는 프로젝트가 CUDA를 많이 점유하면, H.264 압축은 CPU로 해버립니다. 머큐리 엔진 입장에선 나름 최적의 방법으로 시스템 자원을 분배해서 렌더링 하는거죠.

CUDA가 참여하는 경우와, CPU Only는 다른 결과를 보입니다. 이건 첨부를 통해 설명하겠습니다.
K620은 충분히 유의미한 결과를 나타냈는데, 상위 쿠다는 좀더 나을 수 있습니다. CC버전에 따라서 더 좋아질 수도 있고요.
K620의 CUDA는 5.0이지만, P5000은 6.1입니다. Adobe Compatible List를 통해 추측하자면 최소 CUDA Acceleration을 받으려면 CUDA 3.0 이상(≥)은 되야 하는 것으로 보여집니다. 그리고 CUDA가 관여하는 부분이 어디였는가에 따라서도 품질이 달라집니다.

테스트

테스트는 Adobe Encoder를 사용합니다. (CC 2015)

시스템: (http://www.2cpu.co.kr/bmt/1425)

HP Z640 E5-2673 v3, Quadro K620

Storage:
0: Micron M600 2.5-Inch SATA NAND Flash SSD 512GB, Sq R/W: 560/510MB/s, Rp R/W: 100/88K IOPS
1: 뭐였는지 알아보는걸 깜빡했는데ㅜ. mSata SSD였습니다. 500GB
2: M.2 NVME (성능은 SATA SSD보다 약간 좋은 정도) CACHE용, 256GB 이것도 알아보는걸 깜빡했습니다.
(스토라지 업그레이드는 제가 한게 아니라서)

Memory:
 DDR4-2133 8GB x 4

은경님 표 제품입니다. 덕분에 좋은 물건을 저렴히 얻을 수 있었습니다. 이자리를 빌어 감사드립니다.

각 테스트 전 Adobe 프로그램들을 Cloud관련 제외하고 닫은 후 Adobe Cache폴더를 비우고, Encoder를 매번 새로 시작합니다. 머큐리 엔진 램 세팅은 Reserved for other application에 6GB, 26GB를 Encoder에서 사용하도록 했습니다. 출력시 Meta info는 아무것도 안 집어넣도록 세팅했습니다.

(이건 캡쳐를 안하고 사진을 찍었네요...)

시스템 전원 옵션에서 고성능 프로파일을 적용하였습니다.

CPU 하이퍼스레드를 안껐습니다. (꺼봤어야 했는데...)

사용량 측정은 Windows10의 작업관리자와, GPU-Z를 사용했습니다. NVIDIA모니터링 프로그램이 좀더 정확하겠지만, 화려한 3D UI가 너무 부담스러워서…..

테스트0

옜날에 작업한 모션(Adobe After Effects)작업물을 두가지 정도 맛뵈기로 출력했는데… 왜인지 인코딩 분야를 빼면 CUDA 전혀 안쓰더군요. CS6 시절 작업물이라 이펙트가 누락된것도 있고.... 따라서 패스!

테스트 1 (여기부턴 프리미어 프로젝트들입니다)

결과적으로 실패한 테스트입니다.

총 6개의 Sony방송카메라용 전용 인코딩을 사용한 2k(?)수준의 footage 16개를 각각 보정, 그리고 한 화면에 한번에 서로 다른 연산으로 blending하여 다시한번 3종 자동보정(1초 범위참조)후 최종 FHD로 H.264압축 출력하였습니다.

CPU only

with CUDA

CPU는 죽어나고, GPU는 놉니다. 몇분 뽑았냐고요? 5분했다가 remaining 12시간 뿜어서 어마 뜨거라~ 하며 5초로 줄였습니다. (ㅜ^ㅜ)

CPU Only

with CUDA

놀라운건 CUDA가 0~11% 간간히 소금치듯이 참여하는데도 무려 두배 가까이 빨라졌다는 겁니다.

테스트2

단일 footage 5분 H.264 인코딩 출력입니다.

처음에 스토라지 병목이 심하게 있긴 한데 워낙 짧은 구간을 렌더링 해서인지 30~40초간 메모리에 다 올라온 후로는 스토라지 사용량은 1%에 머뭅니다.

CUDA 참여 사용량이 누락되었네요… ㅜ… 분명 캡쳐 했을텐데 어디로 갔나… ㅜ 

CPU사용량은10%~15%, GPU 사용량이 약 30~50%였습니다. GPU 사용량 그래프는 사각 톱니형.

CPU Only

with CUDA

CUDA 참여는 늘었는데 별 효과는 없더군요. CPU only에서도 시스템 100% 활용 안하고 뭔가 머큐리엔진이 잘 작동하지 않는거 같습니다.

테스트3

보아하니 작업마다 CPU만 사용하는 구간이 있고, CUDA도 참여하는 구간이 있는것으로 추측됩니다. 기존 프로젝트들 CUDA사용량이 월등이 높은것에 착안, 분석해서 주로 색 보정 관련 작업들이 CUDA위주로 돌릴 수 있음을 확인합니다. 따라서 테스트 프로젝트를 좀 수정하였습니다. Blending은 빼고, 대신 단일 footage에 색보정 필터만 이것저것 걸어버립니다.

CPU only

with CUDA

CPU only

with CUDA

여기서 저는 병목을 하나 더 찾아냅니다.

H.264압축을 할 때 CPU에 병목이 발생하는거 같다…

이와 같은 추측을 한 근거는, 처음엔 100% 사용하다가 약간 후 부터 0~100% 사이를 왔다갔다하며 톱질하고 있다는 거였습니다. CUDA가 내준 결과물을 CPU가 인코딩 하는데, 이 속도가 CUDA보다 느린겁니다.

 따라서 이후로 인코딩 과정 배제, 무압축으로 뽑게 됩니다.

또한… 램을 고작 6~8GB밖에 사용하지 않는거에 착안, 램디스크로 고속 스토라지 공간 12GB를 확보합니다. 이제 머큐리엔진은 렌더링에 최대 램 14GB 사용가능합니다.

사용한 램디스크: 

풀버전 평가판을 썼습니다.

테스트4

CPU only

with CUDA

이정도면 CPU사용량이 사실상 제로라고 볼 수 있겠군요… 이정도 수준이면 거의 CUDA Only로 뽑고 있다고 볼 수 있겠습니다.

CPU only

with CUDA

CUDA 사용한게 2배 빠릅니다.
이걸 토대로 CUDA로만 렌더링 한다면 K620은 램 14GB 사용 가능한 평균속도 2.7Ghz짜리 12 Core 24T CPU보다 2배 빠르다는 결론이 나옵니다.

CPU only와 with CUDA의 결과물 차이점

없어서 맘편히 CUDA 썼으면 좋겠는데 있습니다.

다음은 H.264 인코딩 된 결과물 비교입니다.
동일조건 동일프로젝트 랜더링 결과입니다.

영상 초당 데이터 부터가 다릅니다.

아래는 동일 프레임 동일 영역을 크롭했습니다. (H.264)

CPU only 

with CUDA

After Effects로 작업된 모션 프로젝트가 Premiere프로젝트에 임베드 된 부분인데...
렌더링 과정에서 달라진건지, 인코딩 과정에서 달라진건지는 모르겠지만 다른 결과물이 나왔습니다.  이건 CUDA가 좀더 선명한듯한....
반면 CPU가 CUDA에 비해 오브젝트, 특히 글자 같은 렌더링에서 좀더 가독성이 좋게(저에게는) 렌더링 되었습니다.

최대한 그대로 보여주기 위해 올릴 때 PNG 24Bit으로 올렸는데 잘 구분이 되시는지 모르겠네요.

아래는 두 영상의 차이를 포토샵으로 연산한 다음 반전시킨겁니다.

(어두울 수록 다름)

특히 모서리가 다르게 렌더링 되었음을 알 수 있습니다.

다음은 Premiere에 내장된 영상 분석툴로 분석한겁니다. 

마찬가지로 동일 프레임을 비교한것입니다.

CPU only

with CUDA

다음은 위를 포토샵으로 차이점을 연산 후 반전시킨것

(어두울 수록 다름)

색 영역 전체에서 차이가 남을 알 수 있습니다.

Q: 직접 비교하면?

A: 나란히 놓고 비교하면 실제 차이가 느껴집니다. 색감은 제 눈에 CUDA가 좀더 따듯하게 랜더링 되긴 했는데, 어차피 테스트를 위해 마구잡이로 필터를 집어넣은건지라 뭐가 보기 더 좋고는 의미 없고, 두 결과에 눈으로 보일 정도로 차이가 있다 라는 것 정도로 아시면 됩니다. (정확도는 CPU가 더 우위였습니다)

덧.

같은 프로젝트를 with CUDA로 반복 렌더링 한건데... 특이하게도 다른 결과물이 나왔습니다.

이 증상은 한번만 나타나고, 그 외에는 프로젝트, 세팅이 동일하면 CPU - CPU, CUDA - CUDA는 2~3번 렌더링 해도 동일했습니다.
아마 제가 캐시 클리어 과정을 까먹었다던가 하지 않았나 추측합니다. (아니면 머큐리 안에 자원 분배에 랜덤요소가 있는걸지도...)

이하는 추측과 의견

(여기서 부터는 그냥 제 의견입니다. 참고만 하세요)

Q: 머큐리 엔진은 가용한 하드웨어에 따라 프로그램 루틴이 다른가요?
A: 결과만 보면 적어도 CPU와 GPU의 경우 확실히 다릅니다. (이건 Fact! 견해는 아래부터)
애당초 CUDA, OpenCL, x86-64 코드가 동일할 수 없습니다.
CUDA 끼리의 차이는 비교테스트가 안되어서 추측을 해볼 수 밖에 없는데,
세대별로, Quadro와 GTX, Tesla가 CUDA버전이 다릅니다. 어떤 부분은 매우 치명적인데 대표적으로 사용 가능한 최대 WORD의 크기가 다릅니다. CPU로 비유하자면 어떤 건 single floating point만 사용 가능하고, 어떤 건 double floating point도 사용가능하고, 최신의 어떤건 double double floating point를 기본으로 사용한다는 겁니다. 또한 지원되는 명령어 범위도 다릅니다.
 - NVIDIA 각 카드 별 탑제된 CUDA 버전: https://developer.nvidia.com/cuda-gpus
 - CUDA 버전별 차이점: https://en.wikipedia.org/wiki/CUDA#Version_features_and_specifications

• CUDA버전이 같으면: 적어도 동일한 결과를 기대할 수 있다고 볼 수 있겠죠. 그게 Geforce이건 Quadro이건 NVS이건 Tesla이건.
  주의 해야 할 점은 같은 칩, 같은 네이밍 카드여도 탑제된 램의 대역폭이 다르면 지원되는 CUDA가 다르기도 합니다.
• Adobe는 Nvidia CUDA 프로젝트의 긴밀한 협력사입니다.
  즉 Adobe는 Nvidia의 CUDA지원팀에게 충분한 기술지원을 받고 있다고 볼 수 있습니다. 최신의 CUDA가 업데이트 되면 얼마 안되어 지원팀을 통해 자사 머큐리 엔진에 적용이 가능하다고 볼 수 있습니다..
• Adobe의 CUDA Compatible과 GPU Acceleration Compatible list는 점점 늘어나거나 하는 변경이 있는데, 이는 실제 머큐리엔진을 비롯한 Adobe 프로그램의 작동루틴이 추가되거나 변경된다는 것을 의미합니다. 또한 GPU별로, 시스템 환경별로 다른 코드를 사용할 가능성도 매우 높다고 볼 수 있습니다. 대개 CPU용 프로그램들의 경우도 AMD와 Intel 별 따로따로 최적화 된 코드루틴을 같이 탑제하는 경우가 많습니다.
• 비교 대상으로 삼을 수 있을지는 모르지만, 게임을 예로 들면, 단순히 퀄리티 세팅별로 뿐 아니라, Nvidia, AMD 별로, 그리고 각 그래픽카드 별로 셰이더 코드와 렌더패스를 독립적으로 작성해서 집어넣는 경우가 많습니다. 예를 들어 Homeworld II의 경우 무려 열개가 넘는 GPU별로 독립적으로 로드되는 렌더패스와 조합되는 개별 셰이더들을 갖추고 있습니다. 게임 실행 시 GPU별로 다른 프로그램이 로드되는거죠.
  전문가와 기업을 상대로 제품을 파는 Adobe가 이보다 더한 최적화를 하면 했지 덜하지는 않을거라고 추측해봅니다.

추측을 증명하려면
 : CUDA버전이 다른 카드들끼리의 충분한 비교테스트가 필요합니다.

Q: Adobe에 쿼드로 써야 하나요?

A: 이건 제 경험상의 조언인데요.
제가 예전에 CUDA를 이용한 작업을 하다가 한번 크게 데인적이 있습니다. 급하게 프로젝트를 수정해서 재인코딩 해야 했는데, 당시 계산으로 가능하다는 결과가 나왔고 제 책임하에 편집 후 재인코딩에 들어갔습니다. 인코딩에만 총 18시간이 걸리는 작업이었는데 딱 하루 여유가 있었기 때문에 사실상 한번에 성공해야 하는 작업이었죠. 당시 그래픽카드는 GTX였습니다. ECC 지원 안되는 것이요. 또 따로 할일이 있었기 때문에 옆에서 작업진행을 확인 할 수 없었는데, 처음 3시간에 걸쳐 잘 진행되고 있음을 확인 후 다른 장소(지역이)에서 다른 일을 하였습니다. 근데 작업이 끝났을 시점에 돌아와서 결과물을 체크해보니 중간부터 녹색으로 붕 떠버린거에요. 네… 데이터 오염이 일어났더라고요. 고도의 영상압축은 이전 영상데이터와 연관해서 데이터를 압축하는데, 중간에 에러가 나니 뒤에 부분까지 전부 잘못된 결과를 내게 된 것이었습니다.

뭐…. 완전히 크게 데였어요.

저는 ECC같은 기업용 고급 기술은 보험이고, 보험은 그 자체로 이미 값을 하고 있다고 생각합니다. 하드디스크만 해도 그렇죠. 기업용 하드, 개인 데탑용 하드. 고객님의 소중한 데이터를 어디 저장하실래요? 같은…

쿼드로라고 항상 ECC 지원하는건 아니에요. 하지만 그와 별개로 안정성이란 면에서는 GTX보단 확실히 보장된다고 볼 수 있습니다. 애당초 기업과 전문가를 대상으로 하는 제품이기 때문에 이런 부분은 상당히 민감한 요소가 되죠. 반면, Geforce 계열은 성능을 위해 안정성도 매우 아무렇지도 않게 자주 무시됩니다. 새 Geforce가 발표되면 얼마 못가서 오버클럭 비레퍼 버전들이 우루루루 나오는게 대표적이죠. 게다가 레퍼보다 잘팔려요. 비레퍼나 레퍼나 똑같이 NVIDIA에서 제공하는 칩을 장착하는데요.

때문에 작업스타일과 딜을 해야 합니다.

• 출력이 망해도 작업 스케쥴 상 다시 시도할 기회가 충분하다면?
• 돌이킬 수 있는 기회가 있다면?
• 그로 인한 손해가 별로 중요치 않다면?
• 8bit 이상의 (10bit, 12bit 같은) HDR Color output이 필요하지 않다면?

지포스 좋아요.
쿼드로에 비해 가격대비 성능이 매우매우 훌륭하면서도 Adobe CUDA에 필요한 그리고 쿼드로랑 충분히 대등한 성능을 내 줍니다.

하지만 위의 경우에 보장이 안된다면?

벌어질 수 있는 손해를 충분히 저울질 하셔야 되요.
(사실 저건 GPU를 최대한 써보겠다고 프로젝트를 조율한거고, 최종출력은 CPU Only를 고집하는것도 좋은 선택입니다)

HDR 환경이 중요하시다면(특히 사진보정같은) 적절한 가성비의 GTX CUDA가속을 구하시더라도, 적어도 10bit컬러 지원을 하는 저가 Quadro를 하나 달고 쓰시는게 좋습니다.
(이 부분은 이쪽 분야에선 민감한 부분이라 추가합니다. 2017. 4. 7)

덧.

본래 해보고 싶었던건 "Adobe에서 멀티 CUDA가 잘 되는가" 를 알아보려고 했습니다.

덩치가 큰 대신 MSI 못지 않습니다. 오히려 조용하고 시원해요. (두께가 MSI의 거의 2.5배라서 그렇지....)
사실 MSI 꺼를 사려고 했는데, 폭발사건이 발생해서... (후일담의 MSI 본사의 대응이 너무 실망스러웠습니다)
(원래 집에서 스팀에 쌓인 게임하겠다고 샀는데... 정작 시간이 없어서...)

쩝... 6 + 8을 요구하는데... 6 + 6만 주니 파업하네요. 까탈스럽긴....

여기저기 케이스 따고 뒤져서 겨우 CUDA달린 녀석을 훔쳐왔습니다. CUDA코어가 무려 8개나 있어요!~
내일 되기 전에 몰래 다시 제자리에 끼우면 되죠. 뭐....
(다들 Intel, Firepro밖에 없어요... ㅜㅜ)

나는 뭘 기대하고 이 짓을 시작한건가....
NVS 295의 CUDA는 버전이 너무너무 낮아서 Adobe 머큐리랑 호환이 안됩니다... 젠장.

이번 테스트의 결론: 돈이나 마니마니 벌어야 겠습니다.