一、Spark与Hadoop的关系 Spark和Hadoop只是共用了底层的MapReduce编程模型，即它们均是基于MapReduce思想所开发的分布式数据处理系统。 Hadoop采用MapReduce和HDFS技术，其MapReduce计算模型核心即Map操作和Reduce操作，在这个计算模.....
分类：
其他好文 时间：
2014-09-10 19:12:50
阅读次数：
311
一、消失的概念与新鲜的名词 Hadoop V2相对于Hadoop V1的变化主要在于资源管理和任务调度，计算模型仍然保持map/reduce的模型。资源管理和任务调度的变化导致了工作流程的变化，一些概念消失而一些概念又出现。 1、JobTrack与TaskTrack JobTrack和Ta...
分类：
其他好文 时间：
2014-09-09 12:17:28
阅读次数：
151
Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈 大数据的概念与应用，正随着智能手机、平板电脑的快速流行而日渐普及，大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务，地图等领域。对于图计算的两个核心问题：图存储模式和图计算模型，Spark Graph...
分类：
其他好文 时间：
2014-08-29 17:55:48
阅读次数：
338
Ali Borji等人在ECCV上发表了一篇关于显著性模型的综合论文。原文来自：Ali Borji, Dicky N. Sihite, and Laurent Itti,"Salient Object Detection: A Benchmark",总结了自2011年以及之前发表的，能容易得到的（代...
分类：
其他好文 时间：
2014-08-24 19:16:52
阅读次数：
199
Mapreduce处理的数据必须具备的特点： --待处理的数据可以分解成许多小的数据集，而且每个数据集都可以完全并行的处理 计算模型的核心部分是map和Reduce函数： --这两个函数的功能由用户根据需要自己实现，只要能够按照用户自定义的规则， 将输入的键值对转换成另一批键值..
分类：
其他好文 时间：
2014-08-20 02:44:46
阅读次数：
213
从有计算机开始，计算模型先后经历了专业（大小型）机-->pc-->网格计算-->云计算的过程。【注】暂不考虑一些专业领域的计算机器演化。
而编程模型，也由底层的纸带-->汇编-->面向过程编程-->面向对象编程的过程。
随着云计算的进一步发展，特别是paas的发展，编程的环境、库都可以以服务的形式来动态提供，即演变为“编程即服务”模式。
在这种模式下，程序员能获取的资源已经不是以库的形式存在...
分类：
其他好文 时间：
2014-08-13 15:03:06
阅读次数：
172
简约 美感简约的极致是用一种方式来迭代出所有产品的功能，就像利用一条汇编指令完成所有的计算机计算模型；游戏里面利用技能将所有的规则全部囊括在内。但是这样带来的问题是，很多的使用这在用这套逻辑的时候，需要向看故事一样去分析功能实现；复杂一点的话，就是利用不同的API功能进行实现，这样子的话，使用者从名...
分类：
其他好文 时间：
2014-08-13 12:48:56
阅读次数：
167
hadoop的计算模型就是map/reduce，每一个计算任务会被分割成很多互不依赖的map/reduce计算单元，将所有的计算单元执行完毕后整个计算任务就完成了。因为计算单元之间互不依赖所以计算单元可以分配到不同的计算机上执行，这样就可以将计算压力平摊到多个机器上面。当然性能线性提高是有条件的，....
分类：
其他好文 时间：
2014-08-11 14:38:52
阅读次数：
189
在Windows Server 2008和后来的版本或者Linux上运行的Tesla解决方案，能通过NVIDIA系统管理界面（nvidia-smi，作为发行的驱动的一个工具）设置系统中的任何设备运行于下面三种计算模式中的一种 ：默认计算模式：多主机线程能同时使用设备（使用运行时API，在这个设备.....
分类：
其他好文 时间：
2014-08-07 18:29:53
阅读次数：
229
第一部分OpenStack及其构成简介一、云计算云计算是一种计算模型，它将诸如运算能力、存储、网络和软件等资源抽象成为服务，以便让用户通过互联网远程享用，付费的形式也如同传统公共服务设施一样。因需而定、提供方便、动态改变和无限的虚拟化扩展能力是云计算的几个重要特征。不同的“云”对应着不同的基础设施。...
分类：
其他好文 时间：
2014-08-04 10:32:27
阅读次数：
318
