码迷,mamicode.com
首页 > 编程语言 > 详细

HDFS的Java操作

时间:2016-12-03 23:36:41      阅读:269      评论:0      收藏:0      [点我收藏+]

标签:平台   先决条件   oop   构造   变量   str   ges   代码   封装对象   

实验环境:

Windows 10

Eclipse Mars.2 Release (4.5.2) 

CentOS 7

Hadoop-2.7.3

先决条件:

  1) Windows上各环境变量已配置OK.  如: PATH, HADOOP_HOME;

      2) 与Hadoop版本及Windows平台(x86或x64)对应的 hadoop.dll, winutils.exe工具已配置OK.

 

1.新建Java项目,如图:

 

技术分享技术分享

 

2.导入外部JAR包,即HDFS jar包:

 

3.Java代码:

 

package hdfsutil;



import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;



public class HdfsUtil {
    public static void main(String[] args) throws Exception {
        
        //构造一个配置参数的封装对象
        Configuration conf = new Configuration();
        //conf中会有一个参数: fs.defaultFS的默认值是file:/// 指本地文件系统URI
//        conf.set("fs.defaultFS", "hdfs://192.168.80.128:9000");
        
        //构造一个HDFS的客户端
//        FileSystem fs = FileSystem.get(conf);
        
        FileSystem  fs = FileSystem.get(new URI("hdfs://192.168.80.128:9000"), conf, "hadoop");
        
        //用hdfs的文件系统的客户端对象fs来操作文件,比如上传一个文件
        fs.copyFromLocalFile(new Path("C:/file.txt"), new Path("/user/hadoop/input/file.txt.4"));
        
        //上传完毕后,关闭客户端
        fs.close();
    }
}

 

HDFS的Java操作

标签:平台   先决条件   oop   构造   变量   str   ges   代码   封装对象   

原文地址:http://www.cnblogs.com/datapool/p/6129608.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!