安装HUE之后，需要配置很多东西才能将这个系统的功能发挥出来，因为Yarn是配置的HA模式，所以在配置HUE的时候，会有些不用，下面一段文字是官网拿来的 # Configuration for YARN (MR2) # --------------------------------------.....
分类：
其他好文 时间：
2015-07-18 21:11:50
阅读次数：
169
按照storm on yarn(Apache hadoop)部署好之后，然后修改HADOOP_HOME,hadoopenv.sh中的JAVA_HOME,以及storm-yarn-master中pom.xml的hadoop version启动顺序依次为：hdfs：start-dfs.shyarn:st...
分类：
其他好文 时间：
2015-07-18 16:55:49
阅读次数：
158
我的Spark机群是部署在Yarn上的，因为之前Yarn的部署只是简单的完全分布式，但是后来升级到HA模式，一个主NN，一个备NN，那么Spark HistoryServer的配置也需要相应的做修改，因为不做修改会报错Exception in thread "main" java.lang.refl...
分类：
其他好文 时间：
2015-07-18 10:44:42
阅读次数：
402
在测试spark计算时，将作业提交到yarn（模式–master yarn-cluster）上，想查看print到控制台这是imposible的，因为作业是提交到yarn的集群上，so 去yarn集群上看日志是很麻烦的，但有特别想看下print的信息，方便调试或者别的目的 在Spark的conf目录下，把log4j.properties.template修改为log4j.properties，原来的...
分类：
其他好文 时间：
2015-07-17 18:55:50
阅读次数：
159
早期的Impala版本中，为了使用Impala，我们通常会在以Client/Server的结构在各个集群节点启动impala-server、impala-state-store和impala-catalog服务，并且在启动过程中无法动态调整内存和CPU的分配。CDH5之后，Impala开始支持Impala-on-yarn模式，通过一个叫做Llama(Long-Lived Application Master)的中间协调Yarn和Impala，向Hadoop Yarn资源管理器申请计算资源。...
分类：
其他好文 时间：
2015-07-17 18:52:24
阅读次数：
2875
这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.htt...
分类：
其他好文 时间：
2015-07-17 18:09:16
阅读次数：
282
storm on yarn, failed, 失败， 提交， hadoop
分类：
其他好文 时间：
2015-07-15 10:54:52
阅读次数：
143
1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository，然后添加到dependency里面。最笨的创建repository的办法就是直接创建...
分类：
数据库 时间：
2015-07-14 17:02:48
阅读次数：
259
运行pig时报如下错误
2015-07-14 10:41:12,869 [main] ERROR org.apache.pig.Main - ERROR 2998: Unhandled internal error. Found interface jline.Terminal, but class was expected
解决办法：
删除{HADOOP_HOME}/share/had...
分类：
其他好文 时间：
2015-07-14 11:26:47
阅读次数：
113
