前言对技术，我还是抱有敬畏之心的。Hadoop概述Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的离线分析工具。基于Java开发，建立在HDFS上，最早由Google提出，有兴趣的同学可以从Google三驾马车:GFS,mapreduce,Bigtable开始了...
分类：
其他好文 时间：
2014-09-10 13:52:40
阅读次数：
298
分布式文件系统 分布式文件系统：当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分区（partition）并存储到若干台单独的计算机上。管理网络中夸多台计算机存储的文件系统。这种系统构架于网络之上，肯定会引入网络编程的复杂性，因此它比普通的磁盘文件系统更为复杂。 我们首先来简单.....
分类：
其他好文 时间：
2014-09-09 23:03:59
阅读次数：
362
一、分区和文件系统1.磁盘驱动器分成分区2.使用文件系统格式化分区以便用户存储数据默认文件系统：ext3（rhel5）、ext4（rhel6）、xfs（rhel7）其他常见文件系统包括：ext2和msdos（通常用于软盘）、iso9660（通常用于CD）、GFS和GFS2（通常用于SAN）二、索引节点1.索引节点表..
分类：
系统相关 时间：
2014-09-03 02:46:16
阅读次数：
295
一、基础环境两台IBMx3650M3，操作系统CentOS5.9x64，连接一台IBMDS3400存储，系统底层采用GFS文件系统实现文件共享，数据库是另一套独立的oraclerac集群，本架构无需考虑数据库的问题。GFS文件系统及相关配置见上一文IBMx3650M3+GFS+IPMIfence生产环境配置一例。本文是在上一..
分类：
其他好文 时间：
2014-08-29 02:57:37
阅读次数：
324
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2014-08-19 12:23:34
阅读次数：
199
HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文...
分类：
其他好文 时间：
2014-08-18 12:21:14
阅读次数：
228
分布式文件系统 Google File System：是由google开发并设计的一个面向大规模数据处理的一个分布式文件系统。 我们首先来简单的说明一下这个分布式，我们都知道现在要存储的数据量越来越大，但是一台电脑的存储能力是有限的，尽管我们可以通过提高某台电脑的存储能力来解决这个问题，但是这是.....
分类：
其他好文 时间：
2014-08-17 23:58:03
阅读次数：
440
??本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。设计要点:性能提高性能的方法就是并行，讲一个任务分解成多个任务，同一时候运行。GFS中的思路是将文件分块,每一个块是一个chunk,每一个chunk单独保存，保存chu...
分类：
其他好文 时间：
2014-08-17 18:22:42
阅读次数：
293
Hadoop+Lucene+NutchHadoop中实现了 Google的GFS和MapReduce算法，使Hadoop成为了一个分布式的计算平台。Hadoop不仅是一个用于存储的分布式文件系统，而且是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。Lucene是一个Java高性能全文...
分类：
其他好文 时间：
2014-08-10 23:51:50
阅读次数：
316
命令行管理和维护RHCS集群1、启动RHCS集群RHCS集群的核心进程有cman和rgmanager，要启动集群，一次在集群的每个节点上执行如下命令：servicecmanstartservicergmanagerstart执行着两个命令是有先后顺序的，要先启动cman，然后再启动rgmanager。[root@web1~]#servicecmanstar..
分类：
其他好文 时间：
2014-08-01 20:12:12
阅读次数：
754
