码迷,mamicode.com
首页 > 其他好文 > 详细

HUE配置hadoop

时间:2019-08-25 13:58:16      阅读:96      评论:0      收藏:0      [点我收藏+]

标签:res   方法   默认   创建   core   def   com   pos   super   

 

HDFS配置

参考文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

 

Hadoop配置文件修改

hdfs-site.xml

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

core-site.html

<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

 

HUE配置文件修改

[[hdfs_clusters]] [[[default]]]

fs_defaultfs=hdfs://mycluster

webhdfs_url=http://node1:50070/webhdfs/v1

hadoop_bin=/usr/hadoop-2.5.1/bin

hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop

启动hdfs、重启hue

 

访问Web

 技术图片

解决方法:

修改默认的hdfs访问用户

修改hue.ini中的配置

default_hdfs_superuser=hdfs

改为

default_hdfs_superuser=root

重启hue

 

可以通过HUE的 文件浏览器 来操作hdfs的文件,进行增、删、改、查等操作。

但是修改文件内容是出现异常,查看日志文件:

 技术图片

解决方法:

1、 关闭hdfs的权限验证

hdfs-site.xml

<property>

          <name>dfs.permissions.enabled</name>

    <value>false</value>

</property>

需要重启hdfs和hue

2、 在hue中创建root用户,并以root用户登录hue。

 

Yarn配置

HUE配置文件修改

[[yarn_clusters]] [[[default]]]

resourcemanager_host=node1

resourcemanager_port=8032

submit_to=True

resourcemanager_api_url=http://node1:8088

重启HUE服务

运行workcout程序进行测试

hadoop jar /usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /test/wc/input /out1

技术图片

 

HUE配置hadoop

标签:res   方法   默认   创建   core   def   com   pos   super   

原文地址:https://www.cnblogs.com/liuys635/p/11407589.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!