分布式文件系统 Google File System：是由google开发并设计的一个面向大规模数据处理的一个分布式文件系统。 我们首先来简单的说明一下这个分布式，我们都知道现在要存储的数据量越来越大，但是一台电脑的存储能力是有限的，尽管我们可以通过提高某台电脑的存储能力来解决这个问题，但是这是.....
分类：
其他好文 时间：
2014-08-17 23:58:03
阅读次数：
440
??本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。设计要点:性能提高性能的方法就是并行，讲一个任务分解成多个任务，同一时候运行。GFS中的思路是将文件分块,每一个块是一个chunk,每一个chunk单独保存，保存chu...
分类：
其他好文 时间：
2014-08-17 18:22:42
阅读次数：
293
HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是..
分类：
其他好文 时间：
2014-08-17 01:11:02
阅读次数：
241
FastDFS是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，FastDFS非常适用于基于文件服务的站点，例如图片分享和视频分享网站FastDFS有两个角色：跟踪服务(tracker)和存储服务(storage)，跟踪服务控制，调度文件以负载均衡的方式访问；存储服务包括：文件存储，文件同步，提供文件访问接口，同时以key value的方式管...
HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
【课程内容】1、Hadoop分布式文件系统（HDFS）2、YARN/MapReduce的工作原理3、如何优化Hadoop机群所需要的硬件配置4、搭建Hadoop机群所需要考虑的网络因素5、Hadoop机群维护和控制6、如何利用Hadoop配置选项进行系统性能调优7、如何利用FairScheduler...
分类：
其他好文 时间：
2014-08-13 14:51:36
阅读次数：
288
Hadoop+Lucene+NutchHadoop中实现了 Google的GFS和MapReduce算法，使Hadoop成为了一个分布式的计算平台。Hadoop不仅是一个用于存储的分布式文件系统，而且是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。Lucene是一个Java高性能全文...
分类：
其他好文 时间：
2014-08-10 23:51:50
阅读次数：
316
自2010年11月首次举办以来，大会云集了国内水平最高的IT架构师、技术总监、项目经理、运维总监/经理、DBA经理、研发工程师等IT技术大牛，由最初的百人规模扩展到现今超千人的技术饕餮盛宴。大会一直受到业界广泛关注与赞誉，是目前华东与华南地区最受欢迎、人气最高的架构师技术交流盛会。本次大会将继续秉承分享IT最佳应用实践的宗旨，以“发现架构之美，实战为王”为主题，邀请国内知名互联网企业的资深架构师和工程师，探讨实下最热门的行业趋势与技术热点，分享架构在企业中的最佳实践。大会关键词：分布式文件系统、大数据、GO...
分类：
其他好文 时间：
2014-08-09 16:02:48
阅读次数：
474
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块（block）：最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类：
其他好文 时间：
2014-08-08 21:20:36
阅读次数：
364
