容灾与集群(1) 在上一篇：微软分布式云计算框架Orleans(1)：Hello World，我们大概了解了Orleans如何运用，当然上一篇的例子可以说是简单且无效的，因为用了Orleans不可能只写一个Hello World吧，Orleans是为分布式和云计算而生的框架，那么今天我们就简单说一....
分类：
其他好文 时间：
2016-01-13 21:51:09
阅读次数：
202
自从写了RabbitHub框架系列后的一段时间内一直在思索更加轻量简便，分布式高并发的框架（RabbitHub学习成本较高），无意间在网上级联看到了很多新框架：从helios到Akaa.NET在到Orleans在到Azure Service Fabric，最终选择了Orleans作为研究对象，理由是...
分类：
其他好文 时间：
2016-01-11 19:54:38
阅读次数：
688
今晚听了王家林老师的第七课Spark运行原理及RDD解密，课后作业是：spark基本原理，我的总结如下：1spark是分布式 基于内存 特别适合于迭代计算的计算框架2mapReduce就两个阶段map和reduce，而spark是不断地迭代计算，更加灵活更加强大，容易构造复杂算法。3spark不能取...
分类：
其他好文 时间：
2016-01-09 01:00:35
阅读次数：
235
一、什么是 Spark Spark 是开源的类 Hadoop MapReduce 的通用的并行计算框架， Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，....
分类：
其他好文 时间：
2016-01-03 02:40:53
阅读次数：
197
当前，大数据的实时计算、分析和可视化是行业大数据应用真正落地的关键。为适应这一需求和趋势，开源组织Apache提出了基于Spark 分析和计算框架，其优点：（1） 性能优越。框架中的Spark技术指内存计算：数据处理仅运行于系统内存中，避免以前的框架系统中的硬盘和内存频繁交换数据的时间消耗。另外，S...
分类：
其他好文 时间：
2015-12-27 19:09:24
阅读次数：
180
背景介绍Spark有多种集群运行模式，例如：Standalone,Yarn,Mesos。下面就说一下如何在Mesos上运行Spark，这也是官方推荐的一种运行方式。在运行Spark之前咱们先简略介绍一下Mesos。Mesos计算框架是一个集群管理器，提供了有效的、跨分布式的应用或框架的资源隔离和共享...
分类：
其他好文 时间：
2015-12-22 17:43:04
阅读次数：
180
Hadoop 数据是存储在HDFS， Mapreduce 是一种计算框架，负责计算处理。HDFS上的数据存储默认是本地节点数据一份，同一机架不同节点一份，不同机架不同节点一份。默认是存储3份HDFS 存储元数据信息和存储位置信息，metadata。他们之间是通过文件名进行关联的。DataNode 节...
分类：
其他好文 时间：
2015-12-13 02:08:53
阅读次数：
116
一、Hadoop简介1.1、Hadoop主要进行分布式存储和分布式计算 1.1-1、HDFS：分布式文件系统 1.1-2、MapReduce：并行计算框架1.2、Hadoop用来做什么？ 搭建大型的数据仓库 搜索引擎、日志分析、数据挖掘1.3、优势： 高扩展、低成本、成熟的生态圈二、Had...
分类：
其他好文 时间：
2015-12-08 00:35:26
阅读次数：
221
本文来源：通通学--知识学习与分享平台转载链接：http://www.tongtongxue.com/archives/220.htmlHadoop的核心HDFS:HadoopDistributedFileSystem分布式文件系统MapReduce：并行计算框架Yarn：集群资源管理和调度框架Hadoop是什么？适合大数据的分布式存储、计算、资源管理平台作..
分类：
其他好文 时间：
2015-11-29 19:43:15
阅读次数：
189
转自：http://www.cnblogs.com/sharpxiajun/p/3151395.html开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个...
分类：
其他好文 时间：
2015-11-29 06:21:15
阅读次数：
160
