目的
随着企业要处理的数据量越来越大，Hadoop运行在越来越多的集群上，同时MapReduce由于具有高可扩展性和容错性，已经逐步广泛使用开来。因此也产生很多问题，尤其是性能方面的问题。这里从管理员角度和用户角度分别介绍Hadoop性能优化的一些体会。
本文是基于Hadoop 0.20.x(包括1x),cdh 3及以上版本做介绍。（Hadoop的版本比较杂乱，具体可以看参...
分类：
其他好文 时间：
2015-05-26 09:11:52
阅读次数：
482
CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive...
分类：
其他好文 时间：
2015-05-22 21:16:48
阅读次数：
238
前言：无论是CM或者CDH使用的过程中，学习研究CDH使用、CDH升级、CM升级等等原因而考虑卸载CM、CDH，本教程使用于基于CM安装的CDH的卸载。当然，如果CDH采用独立安装方式安装，在删除对应目录时，更改相应目录即可，主要分为CM卸载和CDH卸载两部分，理论上使用于CDH4和CDH5的卸..
分类：
其他好文 时间：
2015-05-22 19:30:23
阅读次数：
215
前言：无论是CM或者CDH使用的过程中，学习研究CDH使用、CDH升级、CM升级等等原因而考虑卸载CM、CDH，本教程使用于基于CM安装的CDH的卸载。当然，如果CDH采用独立安装方式安装，在删除对应目录时，更改相应目录即可，主要分为CM卸载和CDH卸载两部分，理论上使用于CDH4和CDH5的卸载（新版本如有更改则不适用）。
一、卸载CM：（CM主机执行）1、移除所有服务?
...
分类：
其他好文 时间：
2015-05-22 17:11:09
阅读次数：
920
前言：无论是CM或者CDH使用的过程中，学习研究CDH使用、CDH升级、CM升级等等原因而考虑卸载CM、CDH，本教程使用于基于CM安装的CDH的卸载。当然，如果CDH采用独立安装方式安装，在删除对应目录时，更改相应目录即可，主要分为CM卸载和CDH卸载两部分，理论上使用于CDH4和CDH5的卸载（...
分类：
其他好文 时间：
2015-05-22 16:40:50
阅读次数：
125
CDH基于稳定版Apache Hadoop，并应用了最新Bug修复或者Feature的Patch。Cloudera常年坚持季度发行Update版本，年度发行Release版本，更新速度比Apache官方快，而且在实际使用过程中CDH表现无比稳定，并没有引入新的问题。 Ø Cloudera官方网站上安装、升级文档详细，省去Google时间。 Ø CDH支持Yum/Apt包，Tar包，RPM包，Cloudera Mana...
分类：
Web程序 时间：
2015-05-17 18:46:48
阅读次数：
667
前言：CDH是由Cloudera公司发行的Hadoop版本，全称（Cloudera‘s Distribution Including Apache Hadoop）。该版本基于原生Apache Hadoop版本进行改进，添加了补丁和自行开发的组件，更加稳定易用。并且Cloudera公...
分类：
其他好文 时间：
2015-05-15 18:09:09
阅读次数：
204
Cloudera的CDH和Apache的Hadoop的区别 目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’sDistributionIncludingApacheHado....
分类：
Web程序 时间：
2015-05-15 17:31:07
阅读次数：
155
前言：CDH是由Cloudera公司发行的Hadoop版本，全称（Cloudera's Distribution Including Apache Hadoop）。该版本基于原生Apache Hadoop版本进行改进，添加了补丁和自行开发的组件，更加稳定易用。并且Cloudera公司已将CDH开源，可以不依靠CM也可以进行独立安装，目前来看在国内市场占有比重较大。本文采用CM方式进行安装，安装环境...
分类：
其他好文 时间：
2015-05-15 13:45:24
阅读次数：
231
HDFSdfs.block.sizeHDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264Mdfs.datanode.socket.write.timeout/dfs.socket.timeout增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的设置（默认300），比如30000，避免可能出现的IO超时异常d..
分类：
其他好文 时间：
2015-05-14 20:46:44
阅读次数：
221
