码迷,mamicode.com
首页 > 其他好文 > 详细

【大数据技术】Hadoop版本选择

时间:2018-11-23 18:30:44      阅读:193      评论:0      收藏:0      [点我收藏+]

标签:三方   发行版本   扩展性   简单   好的   work   hdfs   lang   需要   

1.Hadoop版本

不收费的Hadoop版本主要有国外的四个,分别是Apache基金会hadoop、Cloudera版本(CDH)、Hortonworks版本(HDP)、MapR版本。对于国内而言,绝大多数选择CDH版本

  • Apache社区版本:最原始的版本,所有发行版均基于这个版本进行改进
  • Cloudera版本:Cloudera’s Distribution Including Apache Hadoop,简称CDH
  • Hortonworks版本:Hortonworks Data Platform,简称“HDP”
  • MapReduce版本

(1)Hortonworks

主打产品是Hortonworks Data Platform (HDP),也同样是100%开源的产品,HDP除了常见的项目外还包含了Ambari,一款开源的安装和管理系统。HCatalog,一个元数据管理系统。

 技术分享图片

 

(2)Cloudera

最成型的发行版本,拥有最多的部署案例。提供强大的部署、管理和监控工具。Cloudera开发并贡献了可实时处理大数据的Impala项目。

技术分享图片

 

(3)MapR

为了获取更好的性能和易用性而支持本地Unix文件系统而不是HDFS(使用非开源的组件),可以使用本地Unix命令来代替Hadoop命令。MapR还凭借诸如快照、镜像或有状态的故障恢复之类的高可用性特性来与其他竞争者相区别。

技术分享图片

 

2.选择决定

当我们决定是否采用某个软件用于开源环境时,通常需要考虑以下几个因素:

(1)是否为开源软件,即是否免费。

(2)是否有稳定版,这个一般软件官方网站会给出说明。

(3)是否经实践验证,这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。

(4)是否有强大的社区支持,当出现一个问题时,能够通过社区、论坛等网络资源快速获取解决方法。

考虑到大数据平台高效的部署和安装,中心化的配置管理,使用过程中的稳定性、兼容性、扩展性,以及未来较为简单、高效的运维,遇到问题低廉的解决成本。建议使用第三方发行版本,其中在第三发发行版中,国内应用较多的是Cloudera的CDH。

 

 

参考文档:

初学者有关Hadoop版本选择的考虑

【大数据技术】Hadoop版本选择

标签:三方   发行版本   扩展性   简单   好的   work   hdfs   lang   需要   

原文地址:https://www.cnblogs.com/badboy200800/p/10008791.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!