码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 实战    ( 20951个结果
MapReduce剖析笔记之三:Job的Map/Reduce Task初始化
上一节分析了Job由JobClient提交到JobTracker的流程,利用RPC机制,JobTracker接收到Job ID和Job所在HDFS的目录,够早了JobInProgress对象,丢入队列,另一个线程从队列中取出JobInProgress对象,并丢入线程池中执行,执行JobInProgr...
分类:其他好文   时间:2014-08-17 03:45:51    阅读次数:383
MapReduce剖析笔记之二:Job提交的过程
上一节以WordCount分析了MapReduce的基本执行流程,但并没有从框架上进行分析,这一部分工作在后续慢慢补充。这一节,先剖析一下任务提交过程。MapReduce集群包含一个JobTracker和多个TaskTracker,这里先不考虑YARN,仍然依据1版本进行分析。一个MapReduce...
分类:其他好文   时间:2014-08-17 02:20:01    阅读次数:320
hadoop的工作原理
hadoop是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是..
分类:其他好文   时间:2014-08-17 01:11:02    阅读次数:241
SCCM 2012 R2 实战系列(十一)—配置EndPoint Protection
最后来看下如果通过SCCM发布EndPointProtection1.首先我们必须要添加EndPointProtection的站点系统角色,方法很简单,在管理->概述->服务器和站点系统角色里点击添加站点系统角色,选择EndPointProtection2.接受条款3.添加完成4.首先现在SCCM当中更新EndPointProtection5..
分类:其他好文   时间:2014-08-17 01:10:41    阅读次数:328
MapReduce剖析笔记之一:从WordCount理解MapReduce的几个阶段
WordCount是一个入门的MapReduce程序(从src\examples\org\apache\hadoop\examples粘贴过来的):package org.apache.hadoop.examples;import java.io.IOException;import java.ut...
分类:其他好文   时间:2014-08-16 23:48:21    阅读次数:340
从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,认为它们非常是神奇,而神奇的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,认为Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到...
分类:其他好文   时间:2014-08-16 18:29:30    阅读次数:339
新版API WordCount 小例 及如何导入jar包
简单解析wordcount小例...
分类:Windows程序   时间:2014-08-16 11:16:40    阅读次数:273
HTML5实战与剖析之媒体元素
随着HTML5的到来,flash在手机端全部不能得到支持,这就使一项以flash制作的音乐播放和视频播放只能用HTML5中的媒体标签video标签和audio标签来制作了。很恰巧的是,移动端对HTML5中的媒体标签video标签和audio标签支持的非常好。这就使HTML5在移动端很流行。 vid....
分类:Web程序   时间:2014-08-15 20:56:39    阅读次数:274
hive压缩
hive采用压缩进行性能优化...
分类:其他好文   时间:2014-08-15 19:40:59    阅读次数:254
MapReduce示例-气象站
MaxTemperature.java package cn.kissoft.hadoop.week05; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduc...
分类:其他好文   时间:2014-08-15 14:54:39    阅读次数:307
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!