1）弹性计算资源 将storm执行在yarn上后。Storm能够与其它计算框架（如mapreduce)共享整个集群的资源。这样当Storm负载骤增时，可动态为它添加计算资源。负载减小时，能够释放资源。2）共享底层存储 执行在yarn上的Storm能够与其它计算框架共享HDFS存储，避免多个集群带.....
分类：
其他好文 时间：
2015-06-17 18:01:36
阅读次数：
146
一. yarn产生背景： 1. mapreduce 1.0的问题： 1）JobTracker性能问题 ， 2）JobTracker单点问题 ，3）只支持mapreduce一个计算框架 2. 资源利用率：3. 运维成本与数据共享： 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理...
分类：
其他好文 时间：
2015-06-15 12:58:59
阅读次数：
121
背景
公司数据处理具有两个计算框架，单机框架和MR框架。目前我已经抽象出一套API interface, 供业务计算开发人员使用。并分别在两个计算框架下实现了API的执行调度。应用开发人员有时间需要通过上传override的配置文件，来调整业务计算参数。单机框架易于实现，但在MR框架里，需要解决override的配置文件的分发问题。
实现
1. 通过命令行传入配置文件路径；
2...
分类：
系统相关 时间：
2015-06-11 22:57:23
阅读次数：
172
问题来源 非常感谢@doctorwho的问题：
假如职业介绍所来了一批生产汽车的工作，假设生产一辆汽车任务是这样的：搭好底盘、拧4个轮胎、安装发动机、安装4个座椅、再装4个车门、最后安装顶棚。之间有的任务是可以并行计算的（比如拧4个轮胎，安装发动机和安装座椅），有的任务有前置任务（比如先装好座椅，才能装车门和顶棚）。让两组包工头组织两种类型的工作：将工人分成两种类型,即可并行计算的放在同一组...
分类：
其他好文 时间：
2015-06-09 17:18:12
阅读次数：
193
GraphLab介绍GraphLab 是由CMU（卡内基梅隆大学）的Select 实验室在2010 年提出的一个基于图像处理模型的开源图计算框架，框架使用C++语言开发实现。该框架是面向机器学习（ML）的流处理并行计算框架，可以运行在多处理机的单机系统、集群或是亚马逊的EC2 等多种环境下。框架的设计目标是，像MapReduce一样高度抽象，可以高效执行与机器学习相关的、具有稀疏的计算依赖特性的迭代...
分类：
其他好文 时间：
2015-06-08 21:35:42
阅读次数：
461
随着基于内存的大数据计算框架——spark的火爆流行，用于编写spark内核的Scala语言也随之流行开来。由于其编写代码的简洁性，受到了越来越多程序员的喜爱。我今天给大家展示的时Scala2.10.4在CentOS 7下的安装与配置：一、Scala下载我们需要在Scala官网下载Scala2.10...
分类：
其他好文 时间：
2015-06-05 20:57:52
阅读次数：
131
本文发表于2012年。提出了一种称为离散化数据流(Discretized Streams,D-Streams)的编程模型。该模型提供了一种高级函数式API，具有高度的一致性和强大的容错能力。基于Spark分布式计算框架，进行扩展实现了一个D-Stream的原型，称为Spark Streaming。
分类：
其他好文 时间：
2015-05-28 19:51:10
阅读次数：
522
上篇博客比较了目前流行的计算框架特性，如果你是 Java 开发者，那么根据业务场景选择即可；但是如果你是 .Net 开发者，那么三者都不能拿来即用，至少在这篇文章出现之前是如此。基于上篇文章的比较发现，Storm 应该是对多语言支持比较好的框架了，但即便如此，官方也没有提供 .Net 的适配器，网上...
分类：
Web程序 时间：
2015-05-24 17:11:08
阅读次数：
151
一、Hadoop核心项目
HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce：并行计算框架
二、HDFS的架构
主从结构
? 主节点，只有一个: namenode? 从节点，有很多个: datanodes? namenode负责：? 接收用户操作请求? 维护文件系统的目录结构? 管理文...
分类：
其他好文 时间：
2015-05-24 12:59:35
阅读次数：
211
摘要：Fourinone是一个分布式并行计算框架，以轻量的方式提供了一个四合一的分布式框架功能以及简单易用的API，通过实现对多台计算机资源的统一利用，来获得强大的计算能力。本期我们采访了项目创始人彭渊。Fourinone（即Four-in-one，中文名字“四不像”）是一个分布式计算框架，提供了一...
分类：
其他好文 时间：
2015-05-24 10:01:35
阅读次数：
191
