标签：
原来我要实现的是最基本的将本地文件拷贝到HDFS上去，所以写了下面的程序：
package com.lcy.hadoop.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CopyFromLocalFile {
public static void main(String[] args) throws Exception{
// TODO Auto-generated method stub
Configuration conf=new Configuration();
FileSystem fs=FileSystem.get(conf);
Path src=new Path("/usr/local/hadoop-1.2.1/input/violence.txt");
Path dst=new Path("hdfs://localhost:9000/user/hadoop/input/CopyFromLocalFile.txt");
fs.copyFromLocalFile(src, dst);
fs.close();
}
}
但是上面这段程序只能把它打包成jar文件在terminal运行
对上述程序加以改进：
package com.lcy.hadoop.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CopyFromLocalFile {
public static void main(String[] args) throws Exception{
// TODO Auto-generated method stub
Configuration conf=new Configuration();
conf.set("fs.default.name", "hdfs://localhost:9000"));
FileSystem fs=FileSystem.get(conf);
Path src=new Path("/usr/local/hadoop-1.2.1/input/violence.txt");
Path dst=new Path("hdfs://localhost:9000/user/hadoop/input/CopyFromLocalFile.txt");
fs.copyFromLocalFile(src, dst);
fs.close();
}
}
这样就可以直接在Eclipse本地运行了
在上面程序中
conf.set("fs.default.name", "hdfs://localhost:9000"));
这句代码中的参数是Hadoop配置文件conf/core-site.xml中的信息，是我打开配置文件查看然后再填写进去的，所以我需要直接读取配置文件的信息
关于Configuration:
Hadoop中的组件是通过Hadoop自己的配置API来实现的。一个Configuration类的实例代表配置属性及其取值的一个集合，每个属性由一个String来命名，而值的类型可以是多种类型之一
通过Configuration可以从使用简单结构定义的名-值对的XML文件中读取其属性值
Configuration conf=new Configuration(); conf.addResource(配置文件路径); 属性值=conf.get(属性)
上述程序最终修改为如下：
package com.lcy.hadoop.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CopyFromLocalFile {
public static void main(String[] args) throws Exception{
// TODO Auto-generated method stub
Configuration conf=new Configuration();
Path path=new Path("/usr/local/hadoop-1.2.1/conf/core-site.xml");
conf.addResource(path);
conf.set("fs.default.name", conf.get("fs.default.name"));
System.out.println("fs.default.name:"+conf.get("fs.default.name"));
FileSystem fs=FileSystem.get(conf);
Path src=new Path("/usr/local/hadoop-1.2.1/input/violence.txt");
Path dst=new Path("hdfs://localhost:9000/user/hadoop/input/CopyFromLocalFile.txt");
fs.copyFromLocalFile(src, dst);
fs.close();
}
}
标签：
原文地址：http://www.cnblogs.com/Murcielago/p/4329871.html
