Doug Cutting Lucene（索引引擎）---Nutch（搜索Data抓取）---Hadoop 1997:Lucene 2003:GFS 2004:NDFS\MapReduce\Nutch 2006: (Yahoo! Facebook NewYorkTimes) Hadoop 2008: ...
分类：
其他好文 时间：
2014-12-19 15:43:43
阅读次数：
149
转自：http://blog.csdn.net/opennaive/article/details/7514146江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI...
分类：
其他好文 时间：
2014-12-05 14:15:08
阅读次数：
206
GFS是Google提出的分布式文件系统，它由一个单一的master服务器以及多个chunk文件服务器组成，master服务器主要对命名空间、文件和chunk的映射以及chunk所在服务器的位置进行管理（包括文件的锁管理），chunk服务器主要存储chunk文件，单个chunk文件最大为64M，.....
分类：
其他好文 时间：
2014-12-04 22:51:13
阅读次数：
303
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理...
分类：
数据库 时间：
2014-12-04 12:21:39
阅读次数：
236
在说Hadoop之前，先粉一下Google。Google的伟大之处不仅在于它建立了一个强悍的搜索引擎，它还创造了几项革命性的技术：GFS，MapReduce，BigTable，即所谓的Google三驾马车。Google虽然没有公布这几项技术的实现代码，但它发表了详细的设计论文，这给业界带来了新鲜.....
分类：
其他好文 时间：
2014-11-30 21:26:35
阅读次数：
213
XIV系列：《XIV（1）—HardwareOverview》《XIV（2）--Logicalsystemconcepts》之前的文章曾经说过HOST发过来的data会在XIV上存2份，即PrimaryCopy和SecondaryCopy。只有当这2份都同时存在时，系统才是FullRedundancy状态。那主机在XIV上读写数据分别是怎么进行的呢？请看本篇..
分类：
其他好文 时间：
2014-11-25 18:55:14
阅读次数：
283
1、Google File System概述google file system是一个分布式文件系统，针对的是数据密集型应用，提供容错功能，运行在低廉的服务器上，同时给大量的用户提供高性能服务。尽管google file system有着传统的分布式文件系统的目标，但是GFS的开发兼顾观察现在Int...
分类：
其他好文 时间：
2014-11-24 11:49:59
阅读次数：
156
Baidu和Google的差距在哪里? 搜索引擎需要对抓取到的结果进行管理。当索引结果越来越多时，保证存储和查询速度，保证数万台服务器内容一致的难度越来越高。Google于03至06年左右公布了三篇论文，描述了GFS、BigTable、MapReduce三种技术以解决这些问题。由于Google并没有...
分类：
其他好文 时间：
2014-11-06 23:23:49
阅读次数：
365
KASS分布式文件系统(Kass File System)，简称KFS，是开始公司自主研发的分布式文件存储服务平台。KFS系统架构及功能服务类似Hadoop/GFS/DFS，它通过HTTP-WEB为上层应用系统(KASS文档管理系统及各种其他应用系统)提供底层文件存储服务，搭建企业私有云存储服务平台...
分类：
其他好文 时间：
2014-10-19 18:35:04
阅读次数：
328
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2014-10-10 14:15:04
阅读次数：
166
