Spark作为一种开源集群计算环境，具有分布式的快速数据处理能力。而Spark中的Mllib定义了各种各样用于机器学习的数据结构以及算法。Python具有Spark的API。需要注意的是，Spark中，所有数据的处理都是基于RDD的。 首先举一个聚类方面的详细应用例子Kmeans： 下面代码是一些基 ...
分类：
其他好文 时间：
2016-07-08 21:31:18
阅读次数：
611
网格计算, 云计算, 集群计算, 分布式计算, 超级计算 网格计算, 云计算, 集群计算, 分布式计算, 超级计算 整体来说都有将任务分割、运算、组合，只是协同和处理的重点不同； 超级计算强调的是高并行计算能力，应用设备多是超级计算机如天河一号，是infiniband的高并行处理架构，实现总线级协同 ...
分类：
其他好文 时间：
2016-06-20 18:48:08
阅读次数：
249
本期内容：1.SparkStreaming中RDD为空处理2.StreamingContext程序停止方式SparkStreaming运用程序是根据我们设定的BatchDuration来产生RDD，产生的RDD存在partitons数据为空的情况，但是还是会执行foreachPartition，会获取计算资源，然后计算一下，这种情况就会浪费集群计算资..
分类：
其他好文 时间：
2016-06-14 16:16:58
阅读次数：
183
大数据为什么要选择Spark Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。 Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。 Spark 提供了与 Hadoop 相似的开源集群计 ...
分类：
其他好文 时间：
2016-05-30 06:27:13
阅读次数：
153
Spark知识点IT十八掌课程体系SPARK知识点如下：有需要IT十八掌体系课程的可以加微信：152106399731.定义MapReduce-like集群计算框架设计的低延迟迭代和交互使用的工作。2.体系结构3.一些重要概念的解析(1)RDD(resilientdistributeddataset)弹性分布式数据集一个只读的，可分区..
分类：
其他好文 时间：
2016-05-04 19:33:59
阅读次数：
472
客户端：提交MapReduce job YARN resouce manager,协调集群计算资源分配 YARN node manager,产生并且监控在集群中的机器上的containers MapReduce application master,协调MapReduce job中运行的task H ...
分类：
其他好文 时间：
2016-04-08 10:11:40
阅读次数：
169
基于集群的动态反馈负载均衡策略
基于动态反馈机制的集群负载均衡算法研究
目前应用最为广泛的集群计算技术主要分为三大类：高可用性集群技术、高性能计算集群技术和负载均衡集群技术。
德国的CarlAdamPetri于1962年在他的博士论文《自动机通信》中提出了Petri网的概念,它是一种适合于描述异步、并发、分布式系统的图形数学工具。
动态WRR调度算法
...
分类：
其他好文 时间：
2016-03-14 16:41:48
阅读次数：
321
Spark简述Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足 于内存计算。从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式。 特点： 1、轻 Spark 0.6核心代码有2万行，Hadoop1.0为9万行，2.0为22万行。2、快 Spa...
分类：
其他好文 时间：
2016-01-23 13:15:09
阅读次数：
546
大数据体系结构:Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。Spark将分布...
分类：
其他好文 时间：
2016-01-20 22:37:54
阅读次数：
485
一、集群简介什么是集群计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度...
分类：
编程语言 时间：
2016-01-12 22:54:33
阅读次数：
226
