编程开发本质是运用程序和计算机来解决现实中的各种问题，因此，编程开发人员的才智发挥载体是计算机或者说计算设备，直接武器是程序。难度：中级程序员用来进行编程开发所需要的技能，归结起来主要如下：理解计算模型和框架：顺序计算、并发计算(并行计算、分布式计算)。理解应用所基于的计算模型和框架是非常重要的。传统应用通常基于顺序计算，而现代商业应用，比如云计算，通常基于分布式计算架构;大规模的科学计算应用，比
分类：
其他好文 时间：
2019-08-31 14:57:32
阅读次数：
97
spark是通过借鉴Hadoop mapreduce发展而来，继承了其分布式并行计算的优点，并改进了mapreduce明显的缺陷，具体表现在以下几方面： 1.spark把中间计算结果存放在内存中，减少迭代过程中的数据落地，能够实现数据高效共享，迭代运算效率高。mapreduce中的计算中间结果是保存 ...
分类：
其他好文 时间：
2019-08-24 17:02:42
阅读次数：
89
hadoop(二MapReduce) 介绍 MapReduce:其实就是把数据分开处理后再将数据合在一起. Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇 ...
分类：
其他好文 时间：
2019-08-12 01:05:38
阅读次数：
184
大数据的发展历程总体上可以划分为三个重要阶段，萌芽期、成熟期和大规模应用期，20世纪90年至21世纪初，为萌芽期，随着，一批商业智能工具和知识管理技术的开始和应用，度过了数据萌芽，21世纪前十年则为成熟期，主要标志为，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技，谷歌的GFS和MapReduce等大数据技术受到追捧，Hadoop平台开始大行期道，2010年以后，为大规模应用期，
分类：
其他好文 时间：
2019-08-01 11:50:38
阅读次数：
132
MapReduce主要用于面向大规模数据集的并行计算，需要重点了解MapReduce的并行编程模型和运行机制。MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce。Map和Reduce操作需要我们自己定义相应Map类和Reduce类。而shuffle则是系统自动帮我们实... ...
分类：
其他好文 时间：
2019-07-10 10:41:13
阅读次数：
134
梯形积分法 基本思想是，将x轴上区间划分成n个等长的子区间。估计介于函数图像以及每个子区间内梯形区域的面积。 设子区间端点为xi和xi+1 ，长度h=xi+1 - xi， 同样的两条垂直线的长度为f(xi)和f(xi+1) 那么面积为：h/2[ f(xi) + f(xi+1) ] n个区间是等分的， ...
分类：
其他好文 时间：
2019-07-09 00:24:58
阅读次数：
195
如何编写并行程序？ 协调过程 并行系统的种类 并发计算、分布式计算 因此，并行程序和分布式程序都是并发的 MPI(消息传递接口) ...
分类：
其他好文 时间：
2019-07-08 13:26:16
阅读次数：
123
Google的三大马车Google fs + Map Reduce + Big Table 开源Java实现HDFS Hadoop Hbase 云盘实现用廉价的服务器提供与万级的数据库存储①廉价的服务器②多副本容灾③多核，并行计算，提高数据分析效率 ...
分类：
其他好文 时间：
2019-07-04 17:29:08
阅读次数：
109
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
进程 进程（process） 是更大的单位，进程间不共享内存 一个程序的运行实例叫作进程。 一些操作系统中该程序的运行实例也叫作任务（task）。 运行在主内存（RAM）中。 进程可看作内存中活动的主体，关机后消失。 多核系统下，多个进程可同时进行。 单核情况下，真实的多进程是不存在的。但可通过调度 ...
分类：
编程语言 时间：
2019-06-29 00:56:22
阅读次数：
141
