码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop的一些基本操作

时间:2015-08-02 18:03:53      阅读:100      评论:0      收藏:0      [点我收藏+]

标签:

下面的就是hadoop的一些文件基本操作,主要有上传文件,下载文件和删除文件;不过要使用以下功能的需要注意一些地方:

1、要注意是否已经在windows系统配置了域名与ip的映射关系;

2、要操作hdfs系统上的文件时,可以用"/"来代替hdfs的根路径(hdfs://hadoop01:9000/)

 


import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;


public class HadoopDemo {
 private static FileSystem fs = null;
 @Before
 public  void init()throws Exception{
  //如果没有第三个参数,则在上传文件的时候会出现没有权限的错误,不过这样用是不安全的
  //hadoop提供一个叫做kerberos的框架来解决其安全问题
        fs = FileSystem.get(new URI("hdfs://hadoop1:9000"), new Configuration(), "root");
 }
 
 /*
  * 下载文件
  */
 @Test
 public void downLoad()throws Exception{
  InputStream in = fs.open(new Path("/jdk.bin"));     //打开一个输入流
  OutputStream out = new FileOutputStream("C:\\jdk_1.7");  //创建一个文件输出流
  IOUtils.copyBytes(in, out, 4096, true);   //第三个参数表示缓存的字节数、第四个参数表示当下载完成后,自动关闭流
 }
 
 /*
  * 上传文件
  */
 @Test
 public void upLoad()throws Exception{
  InputStream in = new FileInputStream("E://android-sdk_r24.3.3-windows.zip"); //创建一个本地的文件输入流
  OutputStream out = fs.create(new Path("/ni/android.zip")); //创建一个hdfs的输出流
  IOUtils.copyBytes(in, out, 4096, true);
 }
 
 /*
  * 删除文件
  */
 @Test
 public void delete()throws Exception{
  fs.delete(new Path("/jdk.bin"),true);
 }
 public static void main(String[] args) throws Exception {
  // TODO Auto-generated method stub
  
  

 }

}

Hadoop的一些基本操作

标签:

原文地址:http://www.cnblogs.com/0726b/p/4696287.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!