CUDA C编程

啥玩意是CUDA？

CUDA? is a parallel computing platform and programming model invented by NVIDIA. It enables dramatic increases in computing performance by harnessing the power of the graphics processing unit (GPU).
CUDA是一个由NVIDIA公司发明的并行计算平台和编程模型，提供high leve的接口。它利用图形处理单元（GPU）的强大功能，使计算性能大幅提高。关于CUDA的安装可以参阅Cuda9.0安装，这里就不在啰嗦了。

GPU和CPU的区别？

GPU是为了计算密集型（compute-intensive ）、高度并行计算任务（如：图形绘制之类）专门设计的，根据下图可以明显的看出，GPU比CPU拥有更多的处理数据的传感器（arithmetic and logic unit，算数逻辑单元），而不是高速数据缓存（cache）和流处理（flow control）。

CUDA模型以及用CUDA编写的应用程序

数据并行处理将数据元素映射到并行处理线程。通过并行处理模型，可以使处理大量数据的应用程序加快处理的速度。所以，通过CUDA库可以调用GPU进行运算，获得比CPU更高效的处理数据能力。随着多核CPU和多核GPU的出现，意味着现在的处理器芯片就是并行系统。而且，他的并行性也符合摩尔定律。但是这也给编程人员带来了极大挑战，因为透明地扩展其并行性以利用越来越多的处理器内核并不是那么的容易。所以NVIDIA公司就开发了CUDA，提供C语言的超级，用来轻松的编写并发程序。

CUDA模型提供细粒度的数据和线程并行模型，嵌套在粗粒度的并行模型。通过CUDA，程序员可以将一个程序分割为若干个可以并行处理的独立子任务。

如上图所示，一个多线程的程序可以分割为具有多个thread的block。因此，程序可以自动发现并执行在多个GPU上，从而缩短程序的运行时间。

接下来，将会再介绍CUDA模型。