由于对大数据处理的需求。使得我们不断扩展计算能力，集群计算的要求导致分布式计算框架的诞生。用便宜的集群计算资源在短短的时间内完毕以往数周甚至数月的执行等待，有人说谁掌握了庞大的数据。谁就主导了需求。尽管在十几年间，通过过去几十年的积淀，诞生了mapreduce。诞生了分布式文件系统。诞生了霸主级别的 ...
分类：
其他好文 时间：
2017-07-22 13:14:18
阅读次数：
231
Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式：单机模式、伪分布模式、完全分布模式，只要掌握了完全分布模式，也就是集群模式的搭建，剩下的两种模式自然而然就会用了，一般前两种模式一般用在开发或测试环境下，Hadoop最大的优势就是分布式集群计算，所以在生产环境下都是搭建的最后一种模 ...
分类：
其他好文 时间：
2017-07-08 20:22:37
阅读次数：
414
前言Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。Spark将分布式数据抽象为弹性分布式数据集..
分类：
其他好文 时间：
2017-07-07 19:56:19
阅读次数：
183
权作《Spark快速大数据分析》学习笔记 定义：Spark是一个用来实现 快速 而 通用 的集群计算平台；（通用的大数据处理引擎；） 改进了原Hadoop MapReduce处理模型，体现在三方面： a. 速度；（内存计算） b. 不仅支持批处理，还支持交互式查询(速度快的成果)、流式计算、机器学习 ...
分类：
其他好文 时间：
2017-07-02 16:20:16
阅读次数：
234
摘要： Tachyon是一种分布式文件系统，能够借助集群计算框架使得数据以内存的速度进行共享。当今的缓存技术优化了read过程，可是，write过程由于须要容错机制，就须要通过网络或者是磁盘进行复制操作。Tachyon通过将“血统”技术引入到存储层进而消除了这个瓶颈。创建一个长期的以“血统机制”为基 ...
分类：
其他好文 时间：
2017-06-24 11:11:12
阅读次数：
227
什么是Spark Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加高速。Spark很小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码仅仅有63个Scala文件。很短小精悍。 Spark 是一种与 Hadoop ...
分类：
其他好文 时间：
2017-06-01 13:19:00
阅读次数：
231
一、背景 有一些时候，多个团队需要共同完成一个任务，比如，A团队将Hadoop集群计算的结果交给B团队继续计算，B完成了自己任务再交给C团队继续做。这就有点像业务系统的工作流一样，一环一环地传下 去，直到最后一部分完成。在业务系统中，我们经常会用SOA的架构来解决这种问题，每个团队在ESB（企业服务 ...
分类：
其他好文 时间：
2017-05-29 22:23:08
阅读次数：
332
Oracle中的查询如果放到spark-local模式中计算会有怎样的结果？下面我们看一个案例这里需要说明的是，我这里并没有用spark集群，以免大家认为这里性能的提示只是集群计算能力的功劳，具体原因和优化方式我会在后续的博客中说明。
分类：
数据库 时间：
2017-05-21 21:54:29
阅读次数：
224
Task为要执行的任务实体类： Master为分布式计算代理类，负责创建多个工作线程来处理任务，并将结果汇总，内部维护任务队列，结果map集合和线程map集合： Worker承担计算和计算结果汇总，处理队列中的Task: 测试类： ...
分类：
其他好文 时间：
2017-05-11 22:16:15
阅读次数：
217
分布式系统目前常见的有两类：集群计算系统、网格计算系统。集群计算系统是同构系统，而网格计算系统是异构系统。 1.集群计算系统 分为主节点和计算节点，计算节点实际上运行的是单一的操作系统，其上运行的是独立的或者分布式的进行，结构较为简单，本身依赖主节点提供的并行库使用进程进行数据调度； 主节点除了提供 ...
分类：
其他好文 时间：
2017-04-19 00:33:42
阅读次数：
202
