标签:
在如今这个信息高速发展的今天,hadoop也越来越火了,那么到底是什么原因让hadoop如此的火,接下来新霸哥将详细的为了介绍,并让你快速的任何hadoop是什么?
hadoop思想起源:Google
新霸哥注意到了Google搜索引擎,安卓,翻译等等,有很多的先进技术,但是现在国内的用户是访问不到谷歌搜索引擎的,其实谷歌给我们的生活带来很大的影响的,从我们用到的智能手机安卓系统到谷歌翻译,谷歌学术,Google+等等有很多新的知识等着我们去学习。
Google的低成本之道
Google的强大搜索引擎源于不使用超级计算机,不使用存储。采用的是使用大量的PC服务器,因为互联网中的数据是很庞大的,有好的架构能够提供数据存储和数据访问,提供冗余的集群服务。像淘宝以前使用的存储是oracle由于数据量的增大,淘宝在走去Ieo模式,不使用存储。
google在全世界有多个数据中心,有些还是带有发电厂的,能够满足全球用户的搜索需求。同时还有一个重要的一点就是运营商向Google倒付费。
新霸哥发现了Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用最流行的java语言实现开源软件框架,同时实现在大量计算机组成的集群中对海量数据进行分布式计算.
Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.
HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,适合那些有着超大数据集(large data set)的应用程序。
MapReduce是一套从海量源数据提取分析元素最后返回结果集的编程模型,将文件分布式存储到硬盘是第一步,而从海量数据中提取分析我们需要的内容就是MapReduce做的事了。
在现实的应用中Hadoop非常适合应用于大数据存储和大数据分析的应用,适合于服务器几千台到几万台的集群运行,支持PB级的存储容量。这是传统数据库不能超越的一点也是最有优势的一点。
了解了hadoop后你会发现,Hadoop典型应用有:搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等。功能真的是很强大的,其实关于hadoop方面的内容还是有很多的,如果你是hadoop爱好者欢迎关注,新霸哥会定期更新大数据方面的知识。
标签:
原文地址:http://www.cnblogs.com/weijun/p/5621894.html