文档
安装与配置:http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/
Hue依赖的第三方组件列表:
https://github.com/cloudera/hue#development-prerequisites
安装
安装依赖的第三方组件
yum -y install gcc-c++ asciidoc cy...
分类:
其他好文 时间:
2015-09-21 10:39:20
阅读次数:
256
操作系统:Centos6.6,JDK:1.7 ,HDP:2.2 启动HDP平台时,出现如题的错误,解决方法:在/etc/profile 中加入:export _JAVA_OPTIONS="-Xms512M -Xmx512M"(当然,上面的512可以根据实际情况进行调整)出现的原因是因为部署的HDP的服务太多了,资源(内存)不够用导致的。...
分类:
编程语言 时间:
2015-09-06 13:06:06
阅读次数:
191
First, let’s make the topic clear: Comparing with providing raw Oozie workflow/coordinator xml file, what’s disadvantages to create workflow/coordinator with Hue Oozie Editor? ( The Hue Oozie Editor ve...
分类:
其他好文 时间:
2015-07-23 13:53:23
阅读次数:
140
新手菜鸟记录如何在linux运行hdp、hldaHDP:首先根据命令格式等输入 命令、路径、语料,并开始运行。运行结束后,在结果文件中获得结果找到mode-word-assignments.dat 并运行,得到带hdp后缀的文件,即为结果文件,格式为 文本id:类id。HLDA:根据命令格式输入 ....
分类:
系统相关 时间:
2015-07-22 12:24:45
阅读次数:
206
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等(具体的组件请参...
分类:
其他好文 时间:
2015-06-01 18:15:16
阅读次数:
201
hortonworks:http://zh.hortonworks.com/hdp/downloads/http://zh.hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/其他博客http://bl...
分类:
其他好文 时间:
2015-05-27 11:51:37
阅读次数:
146
如果你想让你手写的workflow.xml成功的倒入到Hue的Oozie Designer里,你需要注意如下几点:
关于chema的版本:oozie最高只能是0.4,hive-action最高只能是0.2, istcp-action最高只能是0.1!!
对于jobTracker和nameNode属性,hue的oozie designer生成的workflow.xml文件是hard code使用的!!...
分类:
其他好文 时间:
2015-05-21 10:51:17
阅读次数:
152
CLUSTERED BY 将数据分组以进入不同的bucket中 INTO num_buckets BUCKETS]SKEWED BY 对于倾斜的数据,指定在哪些值倾斜,从而做优化。http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk...
分类:
其他好文 时间:
2015-05-11 12:57:29
阅读次数:
141
Spark SQL 1.2背景:了解到HDP也能够支持Spark SQL,但官方文档是版本1.2,希望支持传统数据库、hadoop平台、文本格式的整合处理 虚线表示还未实现。支持从现有Apache Hive表以及流行的Parquet列式存储格式中读取数据,数据源API通过Spark SQL提供了访....
分类:
数据库 时间:
2015-05-08 22:00:16
阅读次数:
323
用ambari安装了HDP版本的hadoop,dashboard中ganglia的CPU、内存、网络等监控没有数据,找了很多原因,最后发现是因为rrdcache的时间问题导致的。gmetad的debug信息显示:RRD_update (/var/lib/ganglia/rrds/__SummaryI...
分类:
其他好文 时间:
2015-05-06 14:54:00
阅读次数:
569