HDFS配置
参考文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html
Hadoop配置文件修改
hdfs-site.xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
core-site.html
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
HUE配置文件修改
[[hdfs_clusters]] [[[default]]]
fs_defaultfs=hdfs://mycluster
webhdfs_url=http://node1:50070/webhdfs/v1
hadoop_bin=/usr/hadoop-2.5.1/bin
hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop
启动hdfs、重启hue
访问Web
解决方法:
修改默认的hdfs访问用户
修改hue.ini中的配置
default_hdfs_superuser=hdfs
改为
default_hdfs_superuser=root
重启hue
可以通过HUE的 文件浏览器 来操作hdfs的文件,进行增、删、改、查等操作。
但是修改文件内容是出现异常,查看日志文件:
解决方法:
1、 关闭hdfs的权限验证
hdfs-site.xml
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
需要重启hdfs和hue
2、 在hue中创建root用户,并以root用户登录hue。
Yarn配置
HUE配置文件修改
[[yarn_clusters]] [[[default]]]
resourcemanager_host=node1
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://node1:8088
重启HUE服务
运行workcout程序进行测试
hadoop jar /usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /test/wc/input /out1