目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:
其他好文 时间:
2014-07-22 23:14:55
阅读次数:
435
面向对象 编程思想 从需求出发 从现实世界出发对象:一切客观存在的事物 什么都是对象 是什么
is a 继承属性:有什么 has a 关联(聚合) 方法:能做什么 use a 依赖面向对象思想:先找到解决问题所需的对象,再通过对象间的联系(3...
分类:
编程语言 时间:
2014-07-22 23:09:55
阅读次数:
388
一、Hadoop概述
hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系
统之上,对存储在分布式文件系统中的数据进行分布式计算。
2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单...
分类:
其他好文 时间:
2014-05-01 18:34:41
阅读次数:
382
javaScript 关于Windows
1 Windows 对象
所有浏览器都支持 window 对象。它表示浏览器窗口。
所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。
全局变量是 window 对象的属性。
全局函数是 window 对象的方法。
window.document.getElementById("header");
2...
分类:
编程语言 时间:
2014-04-30 22:27:39
阅读次数:
499
一、简介
1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。
2、从MapReduce 自身的命名特点可以看出,MapReduce 由两个阶段组成:Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数,即可完成简单的分布式程序的设计。
1)m a p ( ) 函数以key/value 对作为输入,产...
分类:
其他好文 时间:
2014-04-30 22:23:39
阅读次数:
466
聚合数据类型能够同时存储超过一个的单独数据。
c语言提供了数组和结构体。1.1234567891011121314#include #include void main(){struct {int
a;}x,*b;int c[2]={1,2};x.a=1;b=c;printf("%d \n",b[1...
分类:
其他好文 时间:
2014-04-29 17:05:12
阅读次数:
395
一个任务出现失败时,tasktracker会将此任务的失败信息报告给jobtracker,jobtracker会分配新的节点执行此任务。这种情况下不会影响整个作业的完整执行。但是如果容易任务出现多次失败,且失败次数超出失败的最大指定次数,那么作业会在未完成的情况下被终止。mapred-site.xm...
分类:
其他好文 时间:
2014-04-29 16:47:48
阅读次数:
521
本文从三方面总结迭代器 迭代器的思想 迭代器相应型别及traits思想
__type_traits思想一 迭代器思想
迭代器的主要思想源于迭代器模式,其定义如下:提供一种方法,使之能够依序巡防某个聚合物(容器)所含的元素,而又无需暴露该聚合物的内部表达式。可见她的主要作用便是能够降低耦合,提高代码....
分类:
其他好文 时间:
2014-04-29 09:13:47
阅读次数:
378
如何把Hadoop配置到多台机器中,构建分布式数据处理环境...
分类:
其他好文 时间:
2014-04-28 10:44:41
阅读次数:
293