码迷,mamicode.com
首页 > Web开发 > 详细

Ubuntu 14.10 下Hadoop HttpFS 配置

时间:2015-07-19 16:13:07      阅读:132      评论:0      收藏:0      [点我收藏+]

标签:

  因为hadoop集群中需要配置一个图形化管理数据的截面,后来找到HUE,那么在配置HUE的过程中,发现需要配置httpfs,因为配置了httpfs,hue才能去操作hdfs中的数据。

  HttpFs能干啥呢,它可以使你能在浏览器中管理HDFS上的文件,例如在HUE中;它还提供了一套REST风格的API用来管理HDFS

1 集群环境

Ubuntu-14.10

openjdk-7

hadoop-2.6.0 HA(双NN)

hue-3.8.1(development)

2 安装

因为hadoop中自带了httpfs所以,这里不需要下载其他包,只需要进行一下配置

2.1 core-site.xml,添加如下

      <property>  
              <name>hadoop.proxyuser.hadoop.hosts</name>  
              <value>*</value>  
              <description>第二个hadoop是启动httpfs的用户名</description>
      </property>  
      
      <property>  
              <name>hadoop.proxyuser.hadoop.groups</name>  
              <value>*</value>  
              <description>第二个hadoop是启动httpfs的用户组名</description>
      </property>


注意:hadoop.proxyuser.{hadoop}.hosts第二个是启动httpfs的用户名

 

如果是需要配置用户代理,需要在httpfs-site.xml中添加。

 

到此配置完毕,启动httpfs,进入hadoop sbin下,运行

httpfs.sh start

启动成功后jps会多一个Bootstrap 进程。

浏览器访问http://localhost:14000/ 
页面显示:HttpFs service, service base URL at /webhdfs/v1. 根目录为:/webhdfs/v1

 

参考:

http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/ServerSetup.html

http://duguyiren3476.iteye.com/blog/2209388

http://blog.cheyo.net/90.html

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Installation-Guide/cdh4ig_configuring_cdh_hue.html

http://blog.csdn.net/ganglia/article/details/25902873

 

Ubuntu 14.10 下Hadoop HttpFS 配置

标签:

原文地址:http://www.cnblogs.com/liuchangchun/p/4658750.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!