编程开发本质是运用程序和计算机来解决现实中的各种问题，因此，编程开发人员的才智发挥载体是计算机或者说计算设备，直接武器是程序。程序员用来进行编程开发所需要的技能，归结起来主要如下： 1. 理解计算模型和框架：顺序计算、并发计算（并行计算、分布式计算）； 理解应用所基于的计算模型和框架是非常重要...
分类：
其他好文 时间：
2014-10-20 20:50:54
阅读次数：
149
在上文《Spark技术内幕：Stage划分及提交源码分析》中，我们分析了Stage的生成和提交。但是Stage的提交，只是DAGScheduler完成了对DAG的划分，生成了一个计算拓扑，即需要按照顺序计算的Stage，Stage中包含了可以以partition为单位并行计算的Task。我们并没有分析Stage中得Task是如何生成并且最终提交到Executor中去的。
这就是本文的主题。...
分类：
其他好文 时间：
2014-10-19 18:38:46
阅读次数：
299
Mapper“Map-Reduce”的思想就是“分而治之”Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”而执行“简单的任务”有几个意思：1、数据或计算规模相对于原任务要大大缩小；2、就近计算，即会被分配到存放了所需数据的节点进行计算。3、这些小任务可以并行计算，彼此间没有相互依赖的...
分类：
其他好文 时间：
2014-10-18 19:35:27
阅读次数：
210
并行计算是一台计算机，配备有多处理机，多处理机之间进行合同协作计算，最终结果由一台计算机处理分布式计算是多台联网的计算机，有各自的主机和处理器，通过网络分配共享计算任务和计算信息云计算，指计算机通过网络发送计算命令给服务器，让服务器执行计算任务并将结果返还给发送命令的计算机关系的话，以计算机用户来说...
分类：
其他好文 时间：
2014-10-17 02:00:43
阅读次数：
302
http://pan.baidu.com/s/1sj6qLtV
分类：
编程语言 时间：
2014-10-16 20:57:43
阅读次数：
203
汽车时间序列数据分析：以HADOOP为代表的云计算提供的只是一个算法运行环境，为大数据的并行计算提供了在现有软硬件水平下最好的（近似）方法，并不能解决大数据应用中的所有问题。从具体应用而言，通过物联网方式接入IT圈的数据供应商(Data Provider)所面临的首要问题是数据分析的算法，其次才是算法的并行计算。...
分类：
其他好文 时间：
2014-10-10 14:01:24
阅读次数：
210
奇偶排序，或奇偶换位排序，或砖排序，是一种相对简单的排序算法，最初发明用于有本地互连的并行计算。这是与冒泡排序特点类似的一种比较排序。该算法中，通过比较数组中相邻的（奇-偶）位置数字对，如果该奇偶对是错误的顺序（第一个大于第二个），则交换。下一步重复该操作，但针对所有的（偶-奇）位置数字对。如此交替...
分类：
其他好文 时间：
2014-10-08 13:39:05
阅读次数：
140
本篇文章谈的是cpp文件如何调用CUDA的.cu文件实现显卡加速的相关编程。当然，这是在默认已经配置好CUDA的情况下进行的，如果对于如何配置CUDA还有疑问可以看之前写的这一篇文章。另外，现在CUDA已经放出了支持VS2013的6.5版本，所以还是建议用最新的，因为毕竟VS2013好用太多，配置起来也没什么区别。关于那篇配置文章，并没有解决CUDA相关函数偶有错误提示的问题，虽然对于编译没有影响...
分类：
其他好文 时间：
2014-10-07 19:48:22
阅读次数：
212
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
map/reduce是大数据处理的技术，它的思路是把大规模数据分成一个个小数据块，每个数据块由一个map任务来处理，处理的中间结果汇总到reduce,最后生成最终的处理结果，这个处理和汇总的过程是可以反复多次的，也就是map-reduce-map-reduce
基于map/redu...
分类：
其他好文 时间：
2014-10-06 13:19:00
阅读次数：
127
