码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 打成jar包    ( 4257个结果
Hadoop single Node cluster
目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux 可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:其他好文   时间:2014-07-22 23:14:55    阅读次数:435
hadoop wordCount运行
本文以康哥的博客为基础进行修改和补充,详见:http://kangfoo.github.io/article/2014/01/hadoop1.x-wordcount-fen-xi/hadoop mapreduce 过程粗略的分为两个阶段: 1.map; 2.redurce(copy, sor...
分类:其他好文   时间:2014-05-02 00:06:57    阅读次数:553
hadoop技术基本架构
一、Hadoop概述 hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系 统之上,对存储在分布式文件系统中的数据进行分布式计算。 2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单...
分类:其他好文   时间:2014-05-01 18:34:41    阅读次数:382
javaScript Windows相关
javaScript 关于Windows 1 Windows 对象 所有浏览器都支持 window 对象。它表示浏览器窗口。 所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。 全局变量是 window 对象的属性。 全局函数是 window 对象的方法。 window.document.getElementById("header"); 2...
分类:编程语言   时间:2014-04-30 22:27:39    阅读次数:499
MapReduce 编程模型
一、简介 1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。 2、从MapReduce 自身的命名特点可以看出,MapReduce 由两个阶段组成:Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数,即可完成简单的分布式程序的设计。   1)m a p ( ) 函数以key/value 对作为输入,产...
分类:其他好文   时间:2014-04-30 22:23:39    阅读次数:466
mapreduce任务出错最大尝试次数
一个任务出现失败时,tasktracker会将此任务的失败信息报告给jobtracker,jobtracker会分配新的节点执行此任务。这种情况下不会影响整个作业的完整执行。但是如果容易任务出现多次失败,且失败次数超出失败的最大指定次数,那么作业会在未完成的情况下被终止。mapred-site.xm...
分类:其他好文   时间:2014-04-29 16:47:48    阅读次数:521
Hadoop自学笔记(五)配置分布式Hadoop环境
如何把Hadoop配置到多台机器中,构建分布式数据处理环境...
分类:其他好文   时间:2014-04-28 10:44:41    阅读次数:293
4257条   上一页 1 ... 424 425 426
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!