标签:linux
HUE管理工具
HUE是一个开源的Hadoop Ul系统,它基于Python WEB框架实现,通过HUE我们可以在浏览端的WEB控制台上与Hadoop群集进行交互分析处理数据。
部署安装HUE3.11步骤:
v 安装相关依赖包
# yum -y install python-devel cyrus-sasl-devel sqlite-devel libxml2-devel libxml2-devel libxslt-devel krb5-devel libffi-devel openssl-devel openldap-devel mariadb-server mariadb-devel gmp-devel
v 开始安装
# tar xzvf hue-3.11.0.tgz
# cd hue-3.11.0
#PREFIX=/usr/local/hue make install
v 创建运行用户和授权目录
# useradd hue
# chown -R hue.hue /usr/local/hue/
v 关联Hadoop
#vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml HDFS站点配置文件
添加内容:
<property>
<name>dfs.webhdfs.enable</name> <!--开启HDFS的WEB功能-->
<value>true</value>
</property>
#vim /usr/local/hadoop/etc/hadoop/core-site.xml hadoop核心配置文件
添加内容:
<property>
<name>hadoop.proxyuser.hue.hosts</name> <!--允许所有主机使用hue用户管理HDFS-->
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name> <!--允许所有主机使用hue用户组管理HDFS-->
<value>*</value>
</property>
#vim /usr/local/hadoop/etc/hadoop/httpfs-site.xml HTTPFS服务器配置文件
添加内容:
<property>
<name>httpfs.proxyuser.hue.hosts</name> <!--允许所有主机使用hue用户管理HDFS-->
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name> <!--允许所有主机使用hue用户组管理HDFS-->
<value>*</value>
</property>
v 配置HUE
# vim /usr/local/hue/hue/desktop/conf/hue.ini HUE主配置文件
修改内容:
[desktop]
secret_key= <!--保持会话项,建议指定一个值ABC123-->
## secret_key_script= <!--会话脚本-->
http_host=0.0.0.0 <!--WEB地址-->
http_port=8888 <!--WEB端口号-->
time_zone=America/Los_Angeles <!--设置时区,建议Asia/Shanghai-->
[hadoop] 配置HDFS
[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://master:9000 <!--为核心文件中fs.defaults的值-->
## logical_name= <!--HDFS的群集名-->
## webhdfs_url=http://localhost:14000/webhdfs/v1 <!--HttpFS服务的IP-->
## security_enabled=false <!--允许不合法的安全管理开关-->
## ssl_cert_ca_verify=True <!--开启SSL认证-->
## hadoop_conf_dir=/usr/local/hadoop/conf/hadoop <!--本地hadoop配置文件路径-->
[[yarn_clusters]] 配置yarn
[[[default]]]
## resourcemanager_host=localhost <!--resourcemanager主机地址-->
## resourcemanager_port=8032 <!--resourcemanager的端口-->
## logical_name= <!--HDFS群集名-->
## resourcemanager_api_url=http://localhost:8088 <!--resourcemanager的伪IP-->
[hbase] 配置Hbase
## hbase_clusters=(Cluster|localhost:9090) <!--Hbase的地址和端口-->
## hbase_conf_dir=/etc/hbase/conf <!--Hbase的配置目录-->
## truncate_limit = 500 <!--截断限制时间-->
## thrift_transport=buffered <!--HUE3.11只支持Hbase Thriftserver的传输端口-->
[beeswax] 配置HiVE
## hive_server_host=localhost <!--HiVE的主机名-->
## hive_server_port=10000 <!--HiVE的端口-->
## hive_conf_dir=/etc/hive/conf <!--HiVE的配置文件目录-->
## server_conn_timeout=120 <!--连接时间-->
开启服务
#su hue
$ /usr/local/hue/hue/build/env/bin/supervisor &
#su root
#netstat -lnupt |grep 8888
通过WEB访问
浏览器输入:http:localhost:8888即可访问
故障解析:
地址重复问题:
错误提示:socket.error: [Errno 98] Address already in use
Core-site.xml和httpfs-site.xml配置问题:
Error日志:
Failed to obtain user group information:
org.apache.hadoop.security.authorize.AuthorizationException
标签:linux
原文地址:http://10978134.blog.51cto.com/10968134/1945811