一：课程简介：Hadoop是当下云计算大数据的王者。Hadoop不仅是一个大数据的计算框架，同时也是大数据的存储平台。使用Hadoop，用户可以在不了解分布式底层细节的情况下开发出分布式程序，从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储，而且Hadoop的运算和存储是可靠的、高效的、...
分类：
移动开发 时间：
2014-09-13 17:10:05
阅读次数：
245
背景
前段时间在为内部自研的计算框架设计算子层，参考对比了一些开源的计算框架的算子层，本文做一个粗粒度的梳理。
下面这张图是我对计算框架抽象层次的一个拆分，具体可以参考上周日杭州Spark meetup上我做的Spark SQL分享 slides。...
分类：
其他好文 时间：
2014-09-05 10:07:32
阅读次数：
157
hadoop 学习笔记：mapreduce框架详解 开始聊mapreduce，mapreduce是hadoop的计算框架，我 学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研...
分类：
其他好文 时间：
2014-08-28 21:18:16
阅读次数：
355
故名思义，拆分fork+合并join。jdk1.7整合Fork/Join，性能上有大大提升。思想:充分利用多核CPU把计算拆分成多个子任务，并行计算，提高CPU利用率大大减少运算时间。有点像，MapReduce思路感觉大致一样。jdk7中已经提供了最简洁的接口，让你不需要太多时间关心并行时线程的通信...
分类：
其他好文 时间：
2014-08-27 16:09:38
阅读次数：
182
MapReduce计算框架将计算过程分为两个阶段：Map和Reduce Map阶段并行处理输入数据； Reduce阶段对Map结果进行汇总Shuffle连接Map和Reduce两个阶段 Map Task将数据写到本地磁盘； Reduce Task从每个Map Task上读取一份数据；仅适合离...
分类：
其他好文 时间：
2014-08-03 15:12:25
阅读次数：
305
Hadoop1.x和Hadoop2.0构成图对比Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS....
分类：
其他好文 时间：
2014-08-02 15:24:53
阅读次数：
403
大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
近年来的大数据应用特别热，特别是Hadoop和Spark。但大家使用这些分布式文件系统和计算框架都需要一个分布式的集群环境，而大家手头一般没有多余的机器部署master和多个slave节点，就只能在VMware上多安装几个虚拟机来模拟集群的搭建，但是安装好一台虚拟机后，我想大部分的人都不想再耗时再重...
分类：
其他好文 时间：
2014-08-02 01:49:52
阅读次数：
267
1. Motivation2. MapReduceMapReduce是一种数据密集型并行计算框架。待处理数据以“块”为单位存储在集群机器文件系统中（HDFS），并以(key, value)的键值对形式保存。当任务启动时，系统将计算任务分配给存储数据的相应机器。MapReduce计算任务可以划分为两个...
分类：
其他好文 时间：
2014-07-28 15:16:13
阅读次数：
202
1：Spark生态和安装部署
Spark生态
Spark（内存计算框架）
SparkSteaming（流式计算框架）
Spark SQL（ad-hoc）
Mllib（Machine Learning）
GraphX（bagel将被取代）
安装部署
Spark安装简介
Spark的源码编译
Spark Standalone安装
Spark Standalone H...
分类：
其他好文 时间：
2014-07-22 00:27:35
阅读次数：
317
