[NVIDIA GPU] Mixed Precision Programming

Pascal GPU (and CUDA 8)에서 16bit FP (Floating Point)와 8/16bit INT (Integer) 연산이 가능해졌다. 많은 HPC (High-Performance Computing) 애플리케이션은 높은 정밀도 연산이 필요해서 32bit (FP32 or Single Float) 또는 64bit (FP64 or Double Float) FP연산을 사용한다. 제한적인 애플리케이션에서는 128bit 또는 256bit FP 연산을 사용하기도 한다. 하지만, 최근 쟁점이 되는 Machine Learning (Deep Neural Network) 연산의 … Read more