码迷,mamicode.com
首页 > 编程语言 > 详细

003、java连接Hadoop2.5.1获取文件系统信息

时间:2014-11-09 19:28:31      阅读:179      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   io   color   ar   os   java   sp   

说明:hadoop安装,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。

软件:Myeclipse-2014-GA,hadoop-2.5.1.tar.gz,hadoop-eclipse-plugin-2.5.0.jar

软件下载地址:链接: http://pan.baidu.com/s/1ntuUhux 密码: stok

1、首先把hadoop-eclipse-plugin-2.5.0.jar拷贝到Myeclipse的插件目录里面

  bubuko.com,布布扣

2、启动myeclipse,然后看看插件是否安装成功

  bubuko.com,布布扣

  bubuko.com,布布扣

3、配置插件信息,如图所示:

  bubuko.com,布布扣

  bubuko.com,布布扣

注:Host是集群主机IP,port:50020是默认的,右边Port是集群core-site.xml里面配置的信息

4、配置完成之后,新建一个项目,这里我建的是java项目

  

bubuko.com,布布扣
 1 package hadoop;
 2 
 3 import java.io.IOException;
 4 import java.text.DateFormat;
 5 import java.util.Date;
 6 
 7 import org.apache.hadoop.conf.Configuration;
 8 import org.apache.hadoop.fs.FileStatus;
 9 import org.apache.hadoop.fs.FileSystem;
10 import org.apache.hadoop.fs.Path;
11 
12 public class HadoopTest {
13     public static void main(String[] args) throws IOException {
14         System.out.println("12");
15         Configuration conf = new Configuration();
16         conf.set("fs.defaultFS", "hdfs://192.168.0.204:9000");
17         FileSystem fs = FileSystem.get(conf);
18         FileStatus[] s = fs.listStatus(new Path("/"));
19         for (int i = 0; i < s.length; i++) {
20             FileStatus f = s[i];
21             System.out.println(f.getPath().getName());
22             System.out.println(f.getLen());
23             System.out.println(f.getModificationTime());
24             Date date = new Date(f.getModificationTime());
25             String d = DateFormat.getDateInstance().format(date);
26             System.out.println(d);
27         }
28         fs.close();
29     }
30 }
View Code

5、成功运行之后,会显示从集群里面获取的文件信息

  bubuko.com,布布扣

 

  

003、java连接Hadoop2.5.1获取文件系统信息

标签:style   blog   http   io   color   ar   os   java   sp   

原文地址:http://www.cnblogs.com/hiter-java/p/4085667.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!