isaiah 2022-02

최적의 조건에서 단정밀도 부동소수점 연산을 했을때의 성능입니다.

게임에도 쓰이고 다른 잡일에도 범용적으로 쓰일 수 있는 보편적 기본 연산 성능이 이정도다... 정도로 이해하시면 됩니다.
차량용 엔진의 '출력' 정도로 포괄적인 스펙이죠...

메가날백 2022-02

GPU 로도 할 수 있는 일이 되게 다양한데, 그중에 제일 단순(?) 하고 흔한 일감을 줬을때 뽑아 낼 수 있는 업무능력 정도로 이해하시면 무리 없습니다.

악엔젤 2022-02

혹시 한가지만 더 여쭤볼게요.
Max simultaneous displays 라는 스펙은4x 4096 x 2160 @ 120 Hz, / 4x 5120 x 2880 @ 60 Hz, / 2x 7680 x 4320 @ 60 Hz
로 되어있는데 중간은 해상도고 뒤는 주사율인데 앞에 4x는 해당 해상도와 주사율로는 4개의 디스플레이를 동시에 지원한다
라고 봐도 되는걸까요?

송주환 2022-02

네

찬이 2022-02

단정밀도는 FP32를 뜻합니다.
1초에 최대 FP32연산을 38.7 테라 번 연산이 가능한 거죠.

김준연 2022-02

이걸 이해하려면 부동소수점 연산의 단정밀, 배정밀, 반정밀이라는 용어를 이해할 필요가 있습니다. 부동소수점 연산은 소수점 이하의 연산을 자릿수를 정해두지 않고 유연하게 처리한다는 개념인데, 소수점 이하 연산이 복잡하게 이뤄질 때 훨씬 유연하게 처리할 수 있습니다.

다만 이것도 한계가 있어서 마구잡이로 처리 가능한 값의 범위를 늘리기는 어려운데, 단정밀을 기준으로 이 처리 범위를 거의 두 배로 늘려 잡는 것이 배정밀, 그의 절반 정도로 줄이는 것이 반정밀입니다. 3D 작업에서 게임같은 부분은 좀 연산이 부정확하더라도 크게 문제는 없기에 단정밀, 아예 반정밀까지 내리더라도 큰 문제는 없고 이렇게 연산의 정밀도와 한계를 줄여서 처리 효율을 높입니다. 반대로 딥러닝같은 부분에서는 매우 정확한 연산이 필요하기에 배정밀 수치가 중요해집니다.

다만 전반적으로 요즘의 그래픽 프로세서의 추세는 단정밀 성능에 올인하고 배정밀, 심지어 반정밀 성능도 어느 정도 무시하는 설계를 하고 있습니다. 이는 배정밀이 필요한 작업을 텐서 코어같은 별도의 회로에 의존하도록 분업을 한 결과이기도 합니다. 예를 들어 지포스 30 시리즈(암페어 아키텍처)의 경우 배정밀 성능은 단정밀 성능의 1/64에 불과하고, 심지어 반정밀 성능이 단정밀과 같아지고 있습니다. AMD도 전체적인 추세는 비슷하긴 한데 그래도 여기는 RDNA2를 기준으로 1/16 수준을 유지하고 있습니다.

송주환 2022-02

딥러닝 응용은 일반적으로 정밀도가 낮아도 잘 동작합니다. 추론 뿐만이 아니라 학습에도 반정밀도 부동소수점을 사용하는 경우가 많고, 엔비디아의 최근 설계는 딥 러닝 워크로드의 추세에 맞춰 가는 것입니다.
GPU에서의 배정밀도 연산은 주로 시뮬레이션 워크로드에 사용됩니다.

TF, BF, FP 연산들로 나뉘는 matrix 자료가 있었는데 찾아보려니 안 보이네요.
비전공자 입장에서 많이 헷갈리긴 합니다.

언젠가는 2022-02

FP32, TF32, FP16, BF16 설명
https://blogs.nvidia.com/wp-content/uploads/2020/05/tf32-Mantissa-chart-hi-res-FINAL.png.webp
각 옵션간 속도차이는 여기 table 2
https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-depth/