目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:
其他好文 时间:
2014-07-22 23:14:55
阅读次数:
435
一、Hadoop概述
hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系
统之上,对存储在分布式文件系统中的数据进行分布式计算。
2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单...
分类:
其他好文 时间:
2014-05-01 18:34:41
阅读次数:
382
javaScript 关于Windows
1 Windows 对象
所有浏览器都支持 window 对象。它表示浏览器窗口。
所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。
全局变量是 window 对象的属性。
全局函数是 window 对象的方法。
window.document.getElementById("header");
2...
分类:
编程语言 时间:
2014-04-30 22:27:39
阅读次数:
499
1.Hadoop简介Hadoop[h?du:p]实现了一个分布式文件系统(Hadoop
Distributed File
System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high
throughput)来访问应用程序的数...
分类:
其他好文 时间:
2014-04-30 03:17:00
阅读次数:
604
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据,其格式如下:
按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/-
0067011990999991950051507+0000+
0043011990999991950051512+0022+
00430119...
分类:
其他好文 时间:
2014-04-29 13:22:20
阅读次数:
309
简述
经过这几天对Glusterfs的分析, 对其体系结构已经有了初步的理解。 值得庆贺的一点就是 Glusterfs 的整个体系结构非常清晰, 高度模块化的设计使得我们对他的理解和扩展变得比较容易。
我打算从下面几步来分析其体系结构:
1. 给出几个从网络上收集的结构图, 用以帮助我们来从整理上认识其体系结构。
2. 以 Glusterfs 的一个客户端配置文件入手, 来理解...
分类:
其他好文 时间:
2014-04-27 22:24:56
阅读次数:
839
合并并且排序指针数组和二维数组里面存放的字符串用函数调用的格式,C里面的内存模型;
#define _CRT_SECURE_NO_WARNINGS
#include"stdio.h"
#include"stdlib.h"
#include"string.h"
char **sortArray1Array2_01(char **pArray1, int nArray1Num, char(*pArray2)[30], int nArray2Num, int *nArray3Num)...
分类:
其他好文 时间:
2014-04-27 22:16:05
阅读次数:
411
Logging.c:
/*
Copyright (c) 2008-2012 Red Hat, Inc.
This file is part of GlusterFS.
This file is licensed to you under your choice of the GNU Lesser
General Public License, version 3 or any...
分类:
其他好文 时间:
2014-04-27 18:57:31
阅读次数:
702