一：数据峰值的巨大影响
1. 数据确实不稳定，例如晚上的时候访问流量特别大
2. 在处理的时候例如GC的时候耽误时间会产生delay延迟二：Backpressure：数据的反压机制
基本...
分类：
其他好文 时间：
2017-04-01 14:02:36
阅读次数：
645
写在前面 Spark是分布式计算领域中继Hadoop之后，又一个比较流行的框架，最近研究了Spark的基本内容，这里稍微总结下，并与Hadoop进行对比。 什么是Spark? Spark是伯克利大学AMP实验室在09年提出的开源的通用分布式计算框架，使用的也是类似Hadoop的计算模型，但是在设计理 ...
分类：
其他好文 时间：
2017-01-01 16:28:54
阅读次数：
867
一、集群简介 什么是集群 计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算 ...
分类：
其他好文 时间：
2016-12-13 18:54:36
阅读次数：
211
教你如何成为Spark大数据高手？ 教你如何成为Spark大数据高手？ Spark目前被越来越多的企业使用，和Hadoop一样，Spark也是以作业的形式向集群提交任务,那么如何成为Spark大数据高手？下面就来个深度教程。 Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足 ...
分类：
其他好文 时间：
2016-11-06 07:49:21
阅读次数：
337
Spark学习: 简述总结
Spark 是使用 scala 实现的基于内存计算的大数据开源集群计算环境.提供了 java,scala, python,R 等语言的调用接口.
Spark学习 简述总...
分类：
其他好文 时间：
2016-11-03 21:10:07
阅读次数：
704
1、什么是集群2、为什么要用到集群3、集群的类型一、什么是集群集群(cluster)技术是一种较新的技术,通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。集群是一组相互独立的、通过高速网络互联的..
分类：
其他好文 时间：
2016-10-28 00:18:39
阅读次数：
154
一、集群简介什么是集群计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。..
分类：
其他好文 时间：
2016-10-28 00:15:44
阅读次数：
269
集群简介计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常..
分类：
其他好文 时间：
2016-10-17 00:37:55
阅读次数：
176
Spart是什么 Spart是一个用来实现快速而而通用的集群计算平台。 在速度方面，Spart扩展了广泛使用的Mapreduce计算模型，而且高效的支持更多的计算模式，包括交互式查询和流处理。Spart的一个主要特点是能够在内存中进行计算，因而更快。即使必须在硬盘上进行复杂计算，Spart依然比Ma ...
分类：
其他好文 时间：
2016-07-22 16:09:19
阅读次数：
129
RDDs弹性分布式数据集 spark就是实现了RDDs编程模型的集群计算平台。有很多RDDs的介绍，这里就不仔细说了，这儿主要看源码。 相关类 Dependency 宽依赖和窄依赖两种。Denpendency类中主要保存父RDD，根据partition id获得所依赖的父RDD partitions ...
分类：
其他好文 时间：
2016-07-11 18:53:25
阅读次数：
257
