Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146410.html简介本文描述了超级用户如何用一种安全的方法以其他用户的名义提交作业或者访问HDFS。使用场景下一节描述的代码示例...
分类：
其他好文 时间：
2014-12-05 13:59:41
阅读次数：
172
1.HTTPFS:基于HTTP操作hadoophdfs文件系统http://my.oschina.net/cloudcoder/blog/2774262.利用JavaAPI访问HDFS的文件http://blog.csdn.net/zhangzhaokun/article/details/5597433
分类：
Web程序 时间：
2014-11-19 02:03:09
阅读次数：
141
先把上节未完成的部分补全，再剖析一下HDFS读写文件的内部原理
列举文件
FileSystem（org.apache.hadoop.fs.FileSystem）的listStatus()方法可以列出一个目录下的内容。
public FileStatus[] listStatus(Path f) throws FileNotFoundException, IOException;
pu...
分类：
编程语言 时间：
2014-09-30 16:47:19
阅读次数：
271
现在我们来深入了解一下Hadoop的FileSystem类。这个类是用来跟Hadoop的文件系统进行交互的。虽然我们这里主要是针对HDFS，但是我们还是应该让我们的代码只使用抽象类FileSystem，这样我们的代码就可以跟任何一个Hadoop的文件系统交互了。在写测试代码时，我们可以用本地文件系统测试，部署时使用HDFS，只需配置一下，不需要修改代码了。
在Hadoop 1.x以后的版本中引入...
分类：
编程语言 时间：
2014-09-29 01:24:17
阅读次数：
273
有多种接口可以访问HDFS，其中命令行接口是最简单，也是程序员最熟悉的方式。
在本例中，将采用pseusodistributed mode的HDFS，用一台机器来模拟分布式的文件系统。pseudodistributed mode的配置参见：http://blog.csdn.net/norriszhang/article/details/38659321
这里再重新说一下两处配置的含义：...
分类：
其他好文 时间：
2014-09-11 19:29:02
阅读次数：
190
部署spark集群使用spark包spark-1.0.2-bin-hadoop2.tgz在spark-shell和java -jar访问hadoop hdfs上的文件写法是有区别的在spark-shell直接使用/user/ning/1.txt 之类的路径，不用加hdfs://host:port 的...
分类：
编程语言 时间：
2014-08-24 08:04:12
阅读次数：
261
Hadoop给我们提供了使用ｃ语言访问hdfs的API，下面进行简要介绍：环境：ubuntu14.04hadoop1.0.1jdk1.7.0_51访问hdfs的函数主要定义在hdfs.h文件中，该文件位于hadoop-1.0.1/src/c++/libhdfs/文件夹下，而相应的库文件是位于hado...
简介
此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。
Use Case
下一部分描述的的代码示例对此用户用例是可用的。
一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类：
其他好文 时间：
2014-05-22 10:40:41
阅读次数：
255
利用JavaAPI访问HDFS的文件
1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件，不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了，最初我就是在这里吃了大亏，所以我死活连不上HDFS，文件无法创建、读取。hadoop.t...
分类：
编程语言 时间：
2014-05-03 22:10:40
阅读次数：
300
