标签:hadoop hadoop事实 hadoop发行版 大数据学习
Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型,计算任务会被分割成小块(多次)运行在不同的节点上。除此之外,它还提供了一款分布式文件系统(HDFS),数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。下面编者对于ApacheHadoop进行详细介绍:
一、什么是Apache Hadoop?
1.概念:用来存储、处理和分析大数据的开源框架。
2.特点:分布式,可扩展并且容错
3.使用成本:利用了产业标准硬件的能力,成本低。
4.ApacheHadoop集群框架:
Batch processing | Search engine | Analytic SQL | Machine learning | Stream processing | Other applications |
workload management | |||||
Data storage | |||||
Data integration |
二、关于Apache Hadoop的几个事实:
1.开源:Apache Hadoop本身是开源的
2. 大约十个公司的60多个committers:如cloudera,yahoo,facebook,apple等,对于Apache Hadoop发展有着重要作用。
3.几百个编写特性和修复bug的贡献者
4. Apache Hadoop本身有很多项目、应用和工具等
三、Hadoop生态:
四、供应商集成:
五、了解发行版:
1.Cloudera:提供了CDH和Cloudera Manager
(1)CDH (Cloudera’s Distributionincluding Apache Hadoop):100%开源,为企业准备的Hadoop和相关项目的发行版;集成了所有关键的Hadoop生态项目
2.Hortonworks:提供了HDP (HORTONW0RKS DATA PLATFORM)
3. Mapr:mapr汇聚数据平台
4.其他发行版:
以上就是小编根据自己的实际经验为大家总结的Apache Hadoop基本知识,让大家对于Hadoop有一个基本的框架认识。在这里,也真诚建议大家平常多自主学习,无论是看一些大数据的书籍,还是关注一些大数据资讯,对于大家都是很有帮助和促进的。我个人在平时喜欢看大数据cn和大数据学习中心这样的微信服务号,经常有一些大数据最前端的资讯和一些免费的资源,对于我个人而言,帮助还是蛮大的,大家平常也可以多积累一些这方面资源,多多分享交流,共同进步!
本文出自 “11872756” 博客,谢绝转载!
标签:hadoop hadoop事实 hadoop发行版 大数据学习
原文地址:http://11882756.blog.51cto.com/11872756/1877341