标签：搜索引擎 可靠 相互 http 数据存储 res dna 数据备份 nbsp
P3-P4：
目前遇见的问题很简单:硬盘容量不断提升，1TB的已成为主流，然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s
读取一个1TB的硬盘数据需要耗时至少2.5个小时。写入数据则会消耗更多时间。解决方法是从多个硬盘上读取，试想，若当前有100个盘，每个盘存储1%数据，则并行读取仅需2minutes则可读取完所有的数据。
与此同时，并行读写数据带来了几个问题：
1、某个硬件故障 - 采用数据备份机制
2、分析任务需要所有节点共同完成，结果正确性 - MapReduce：将硬盘读写问题转化为对一个数据集的计算。
所以，Hadoop提供给我们一个可靠的共享存储和分析系统。
由HDFS实现可靠数据存储，MR实现可靠数据分析处理。
P6
P7
数据本地化是MR的一个核心特性，意识到到处复制数据容易消耗尽网络带宽后，MR尽量在计算机节点上存储数据，以实现数据的本地快速访问，同时，也提高了计算的性能。
P8
当需要完成计算，却中途有部分节点计算失效时，MR能检测到并重新执行那些失败的M或R任务。
这是因为MR采用的是无共享的架构，各个计算任务相互独立，容易实现失败检测。
P9
MR三大设计目标：
（1）为只需要几分钟或几小时可以完成的作业提供服务
（2）运行于同一个内部有高速网络连接的数据中心内部
（3）数据中心内的机器都是可靠、定制的硬件
P12
2006年4月 在188个节点（每个10GB）运行排序测试需要49.7小时
5月 在500个节点（每个10GB）运行排序测试需要42小时
12月 在20节点上1.8小时，100节点上3.3小时，500节点上5.2小时，900节点上7.8小时
在2008年4月，在一个有910台节点的集群上，以不到3.5分钟的成绩，完成了对1TB数据的排序，成为最快的TB级数据排序系统。
同年11月，google用了68s
2009年5月，雅虎用了62s
雅虎搜索引擎四个组成部分：
1 网页服务器爬取网页 - Crawler
2 构建已知网页链接图 - WebMap （链接图非常大，分析需要数日）
3 最佳页面构建反向索引 - Indexer
4 处理用户的查询 - Runtime
P14-15
P15
2.x 版本新特性
1、基于YARN系统上构建了全新的MR2.YARN是一个通用的用于运行分布式应用的资源管理器（Yet Another Resource Negotiator）
2、HDFS联合管理，将HDFS命名空间分散到多个namenode中以支持包含大规模数据文件的集群。
3、HDFS高可用性，启用secondNamenode避免namenode单点故障。
标签：搜索引擎 可靠 相互 http 数据存储 res dna 数据备份 nbsp
原文地址：http://www.cnblogs.com/avivaye/p/6322475.html
