从业务发展需求，大数据平台需要使用spark作为机器学习、数据挖掘、实时计算等工作，所以决定使用Cloudera Manager5.2.0版本和CDH5。
以前搭建过Cloudera Manager4.8.2和CDH4，在搭建Cloudera Manager5.2.0版本的时候，发现相应的Service Host Monitor 和 Service Monitor不能配置外部表，刚开是还以为是配置出错，后来才发现应该是新版本的Cloudera的存储改变方式了。查了很多文档，果然发现，新版本中Service ...
分类：
数据库 时间：
2014-11-14 12:39:43
阅读次数：
316
1.DeployingSolrwithHuerestartHUEservice2.deleteoldexampleindexesfromHUE3.OnSolrServer:cd/opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hue/apps/search/examples/bin./create_collections.sh./post.sh4.createdashboardsforexampleindexesok
分类：
其他好文 时间：
2014-11-03 16:35:41
阅读次数：
251
Cloudera的CDH和Apache的Hadoop的区别 目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including
Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Pla...
分类：
其他好文 时间：
2014-10-31 15:43:55
阅读次数：
233
su-hdfsPIEstimatorTesting:timehadoopjar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarpi10100TeraGen/TeraSort/TeraValidateTesting:1.timehadoopjar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarteragen..
分类：
其他好文 时间：
2014-10-28 10:29:47
阅读次数：
152
这里使用的版本是cdh发行的pig-0.12.0-cdh5.1.2 下载地址点这里
1.Pig简介：
Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:S...
分类：
其他好文 时间：
2014-10-13 21:20:27
阅读次数：
253
编译 hadoop 版本的命令如下，可以直接使用 make-distribution.sh 脚本来编译，命令如下：
./make-distribution-noclean.sh --tgz -Pyarn -Phive -Phadoop-2.4 -Dhadoop.version=2.4.0
然后就在当前目前会生成一个 tgz 的文件。
如果是编译 cdh 版本的话，参考命令如下：
./mak...
分类：
其他好文 时间：
2014-10-11 15:19:35
阅读次数：
204
一、准备工作共性准备配置1.ntp服务器ntpdatetime-server-ip
#将时间写入bios
hwclock--systohc2.关闭iptables及selinux3.配置hosts文件（增加Manager机记录、增加所有slaver机记录）slaver机准备1.slaver机配置yum文件（添加cm、cdh的源，添加rhel光盘的源）vim/etc/yum.repos..
分类：
其他好文 时间：
2014-09-04 19:31:00
阅读次数：
228
今天在删除一个hive表的时候，发现hdfs的空间没有释放，刚开始一直觉得是自己删除有问题，结果在hdfs上也没有查到，最后发现是CDH的namenode有一个文件系统垃圾间隔设置，默认设置一天，也就是说删除的文件需要一天才能被删掉。配置如图，希望能帮助要有同样疑惑的人。还有这个..
分类：
其他好文 时间：
2014-09-03 02:48:26
阅读次数：
249
一、安装jdk配java环境rpm-ivhjdk.rpm打开/etc/profile增加：JAVA_HOME=/usr/java/jdk1.7.0_60
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
exportJAVA_HOMECLASSPATHPATH二、安装mysqlyuminstallmysql-servermysql
#初始化
mysql_install_db
#运行produc..
分类：
其他好文 时间：
2014-08-29 18:31:38
阅读次数：
315
今天在CDH上执行hivesql的时候报了一个错。错误内容为：FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.MoveTask错误语句：INSERTOVERWRITEDIRECTORY‘{$dir}‘select*fromtmp_analyse_oswherelogdata=‘{$begin}‘;错误原因：hive源码会检查导出的路径是否..
分类：
其他好文 时间：
2014-08-18 18:53:13
阅读次数：
260
