江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2015-01-26 21:03:29
阅读次数：
214
1、Hadoop生态系统 2、HDFS（Hadoop分布式文件系统） 源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。 是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，...
分类：
其他好文 时间：
2015-01-21 14:49:42
阅读次数：
10752
HDFS是HADOOP中的核心技术之一——分布式文件存储系统。Hadoop的作者Doug Cutting 和Mike 是根据Google发布关于GFS 的研究报告所设计出的分布式文件存储系统。一、HDFS设计的前提或者假设有6个：硬件错误是常态而不是异常。对于普通的每台机器来说，出现故障可能并是.....
分类：
其他好文 时间：
2015-01-17 20:47:57
阅读次数：
322
centos安装iscsi服务端yuminstallscsi-target-utilsiscsi-initiator-utils客户端安装iscsi-initiator-utilsscsi-target-utils包中的主要配置文件以及命令：/etc/tgt/target.conf：主要配置文件/usr/sbin/tgt-admin：在线查询、删除target等功能的命令/usr/sbin/tgtd：主要提供i..
分类：
其他好文 时间：
2015-01-13 17:57:03
阅读次数：
228
接着上篇博文，上篇博文是讲如何部署MooseFS的，部署完毕之后就要涉及到后续的使用了。在使用过程中，肯定会遇到一些故障和性能瓶颈。此时，我们就需要去操心MooseFS的管理、维护和优化工作了。本篇就围绕上面提到的三个方面，介绍MooseFS更深入的一些知识。一、高级功能1、副..
分类：
其他好文 时间：
2015-01-13 01:35:46
阅读次数：
298
一.RHCS简介：RHCS是RedHatClusterSuite的缩写。RHCS是一个功能完备的集群应用解决方案，它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现，通过RHCS提供的这种解决方案，不但能保证前端应用持久、稳定的提供服务，同时也保证了后端数据存储的安全。RHCS..
分类：
Web程序 时间：
2015-01-07 07:03:35
阅读次数：
593
简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ①保存多个副本，且提供容错机制，副本丢失或宕机...
分类：
其他好文 时间：
2015-01-07 00:29:30
阅读次数：
196
1.将linux集群做好。2.安装多路径软件。3.将存储分配给主机。4.在主机上查找磁盘(集群中的所有主机都做)QlogicHBA上：./ql-dynamic-tgt-lun-disc.sh-r-s或者：echo"---">/sys/class/scsi_host/hostX/scan5.多路径软件查看磁盘是否找到(集群中的所有主机都做)multipath-ll此..
分类：
其他好文 时间：
2015-01-06 18:16:21
阅读次数：
574
1.hadoop1.0与hadoop2.0的区别： hadoop1.0生态如下图： hadoop2.0生态： 2.HDFS描述：HDFS是google的GFS的开源克隆，HDFS的架构如下图： 1) NameNode：管理HDFS的名称空间，管理数据块映射信息，配置副本策略，处理...
分类：
系统相关 时间：
2015-01-06 13:48:52
阅读次数：
267
实验环境：CentOS6.5x64RHCSGFS配置说明:本文出自:http://koumm.blog.51cto.com1.通过Openfiler实现iscsi共享存储2.通过VMwareESXi5虚拟fence实现fence功能。3.结合Centos6.5vmware-fence-soap实现RHCSfence设备功能。4.通过搭建RHCS实验环境测试GFS2功能。一、准备基础环境1...
分类：
其他好文 时间：
2015-01-02 07:33:57
阅读次数：
814
