本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。...
分类：
其他好文 时间：
2014-10-07 19:00:13
阅读次数：
235
一、分布式文件系统分布式文件系统（DistributedFile
System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，也就是集群文件系统，可以支持大数量的节点以及PB级的数量存储。
相对地，在一个分享的磁盘文件系统中，所有节点对数据..
分类：
其他好文 时间：
2014-10-05 05:15:58
阅读次数：
488
分布式文件系统一、基础原理分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单点说就是把数据分散存储到不同节点上的一种存储机制。谈到分布式文件存储不得不和传统存储做一下对比分布式..
分类：
其他好文 时间：
2014-10-05 05:13:58
阅读次数：
435
MogileFS：是一个开源的分布式存储，适用于存储海量的小文件。由LiveJournal旗下的DangaInteractive。这个公司还有memcache,MogileFS,Perlbal（http代理）等产品。其特点如下：1，工用于应用层（用户空间）：无须特殊的核心组件，因为基于http或都nfs，一般客户端都支持。2，无..
分类：
其他好文 时间：
2014-10-05 03:52:18
阅读次数：
379
MogileFS:是一套分布式文件存储的解决方案，它不需要特殊的核心组件、无单点失败、自动的文件复制、比RAID好多了、传输中立，无特殊协议(客户端可以通过NFS或HTTP来和MogileFS通信)、简单的命名空间、不用共享任何东西、不需要RAID、不会碰到文件系统本身的不可知情况等等优点..
分类：
其他好文 时间：
2014-10-03 01:41:24
阅读次数：
468
理论基础：Hadoop 分布式文件系统架构HDFS 负责大数据存储MapReduce 负责大数据计算namenode master守护进程datanode slaves上负责存储的进程secondarynamenode master上提供周期检查和清理任务的进程jobtracker maste...
分类：
其他好文 时间：
2014-10-03 01:34:04
阅读次数：
451
MogileFS简介：MogileFS是一个开源的分布式文件存储系统，MogileFS适用于存储海量小文件的工作场景，由LiveJournal旗下的DangaInteractive公司开发，该团队开发了包括Memcached、MogileFS、Perlbal等多个知名的开源项目。MogileFS的组成：1、server：主要包括mogilefsd和mogsto..
分类：
其他好文 时间：
2014-10-02 09:16:13
阅读次数：
296
HBase为可伸缩海量数据存储而设计，实现面向在线业务的实时数据访问延迟。HBase的伸缩性主要依赖其可分裂的HRegion及可伸缩的分布式文件系统HDFS实现。HBase中，数据以HRegion为单位进行管理，也就是说应用程序如果想要访问一个数据，必须先找到HRegion，然后将数据读写操作提..
分类：
其他好文 时间：
2014-10-01 00:39:00
阅读次数：
249
TFS是由淘宝开发的一个分布式文件系统，详细情况请参见TFS项目主页。当前，TFS的最新版本为V2.6.6，本系列涉及讨论的TFS版本为V2.2.8（tfs-VER：V2.0.1）。TFS有三个大的稳定版本，V1.3、V2.0和V2.2。在使用时，NameServer、DataServer应该为同一...
分类：
其他好文 时间：
2014-09-30 20:39:30
阅读次数：
313
通过之前的努力，已经搭建好了一套基本的tfs环境，包括一台nameserver和一台dataserver以及独立的nginx-tfs，而在实际应用中的分布式文件系统，只有一台dataserver明显是不行的，因而本文将介绍tfs环境下添加dataserver的操作和配置过程。环境介绍：Tfsnameserver服务器IP:192...
分类：
其他好文 时间：
2014-09-28 13:24:43
阅读次数：
307
