测试的数组数量是 const int num_elements = 1<<20;
运算次数是1000次。
发现gpu的分配内存和拷贝操作很花时间。
1 对数量为 1<<20的数组，1000次cpu求和操作，时间是7720.0 ms。
2 在gpu，一次分配内存和拷贝，1000次求和，时间是360.0 ms。
3 在gpu,1000次分配内存和拷贝，1000次求和，时间是2700.0 ms。
哈哈，如果省去分配内存和拷贝时间，求和操作，在 gpu比cpu快20倍。
但是加上的话，就快不了多少了。
所以，设计GPU程序的时候，一定要减少内存分配和拷贝的操作。
其实可能内存分配花不了多少时间，主要是拷贝， 1<<20这么多个元素拷贝，想想都知道久。
做了个一次的实验，
cpu是10ms。
gpu，加上分配内存和拷贝，要60ms,
不算内存分配和拷贝，0ms。
所以，如果数据本来是在gpu的话，那gpu做计算肯定快。
但是如果数据本来在cpu，先拷贝到gpu，再做运算，这种效率肯定低。
所以，
内存分配要合理，该在gpu的放在gpu。
尽量减少内存拷贝。
数组求和的快速方法（利用cuda的共享内存）--第三部分之性能分析
原文地址：http://blog.csdn.net/lingerlanlan/article/details/24632027
