理想情况是，所有的乘法都可以并行执行，而不是串行执行。
任务并行的示意图：
比如多CPU系统，每个CPU执行不同的线程。还有一类流水线并行，也属于任务并行：
流水线的每一个任务会处理不同的数据，这里不是串行的！而是流水线并行的，数据从一个任务传送到另外一个任务中，同时前一个任务又处理新的数据。
OpenCL并行执行内核
opencl可以有很多工作条目work-item，每一个item都有一个id，类似于线程的概念；看下面的例子：
左边是一般的编程写法，对数组元素递增；右边是opencl的写法，建立N个独立的work item，并行执行。这是最典型的opencl编程模型，用于数据并行任务，那么在真实的硬件中，又是如何完成并行任务的呢？实际上，这一块并不由opencl管，因为opencl只是一个编程标准，它提供了统一的编程接口和模型，而真正实现这些并行功能的是硬件支持厂商。比如intel对于CPU，NVIDIA对于GPU，Altera对于FPGA。正是因为有了opencl，才使得跨平台和跨硬件体系结构编程的可移植性成为可能。
由于性能是opencl编程的核心，而不是易用性，因此编程人员需要找到算法本身的并行部分，用kernel的方式来实现它们。工作条目就是一个最小的执行单元，工作条目可以组成工作组（work group）。这样的划分也与存储器有关，在opencl中，存储分为三大类：Global memory，Local memory，以及Private memory。Global是可以让所有的工作组和工作条目都可见，Local是只有当前工作组中的工作条目可见，而Private是只有单独一个工作条目可见。这样的存储访问控制，可以有效利用高速缓存提高效率，而不是每一次数据访问都需要外部DDR。
来简单看看GPU和FPGA的实现架构，GPU的体系结构是高度并行的，高级的GPU有非常多的运算单元，有很高的存储器总线，较高的吞吐量，但是存储访问的延迟也比较大。因此针对GPU的程序设计，存储器的管理和访问是很关键的。GPU一般有小容量高速缓存，并使用PCIe与主机进行通信（当然，现在也有一些新的技术不用PCIe）。见下图：
而FPGA是针对定制硬件进行设计，并行度非常高，现代FPGA通常有上百万个逻辑单元，每一个单元可以实现一个逻辑功能；有数千个片内存储器模块，用于快速访问数据；有数千个专用DSP模块，用于加速计算数学函数（比如浮点乘法）。如下图：
当面向FPGA编译opencl时，执行不受固定数据通路和寄存器限制，实际上是根据运算把逻辑组织到函数单元中，然后将其连接起来形成专用的数据通路，实现特殊的内核功能，如下图
针对FPGA的opencl编程，大致有两种形式，一种是辅助加速器，软件在CPU中实现，使用FPGA来加速某些模块的运算，CPU和FPGA采用PCIe连接；另一种是SOC的方式，CPU是内嵌在FPGA版上的，这样的方式可以减小通信延迟：
到这里，对于opencl的并行编程大概有个了解了。我们先看一下opencl编程以及运行在FPGA和CPU上的大致流程，具体的过程会在后面的章节中描述，这里看个大概：
需要有两种编译器，一个是标准的C编译器，一个是opencl的编译器（因为我参考的资料是altera的，所以是altera的opencl编译器）。opencl编译器会生成比特流文件，下载到FPGA板上，然后host程序运行调用，通过PCIe连接在FPGA上启动内核执行。编译器会将整个电路构建完成，包括了算法逻辑，存储器结构，存储器访问控制与通路，内核主机间的通路等。如下图
最后比较一下各种硬件形态的开发效率与执行效率，而opencl在FPGA上作用就是绿色箭头的方向。
原文地址：http://blog.csdn.net/xbinworld/article/details/45949629
