向HDFS中追加内容

时间：2014-11-16 12:11:35 阅读：118 评论：0 收藏：0 [点我收藏+]

最近项目开发中遇到的问题：
需要向生成好的hdfs文件中追加内容，但是线上使用的版本是1.0.3，查看官方文档发现，在1.0.4版本以后才支持文件append
一下是向hdfs中追加信息的操作方法
如果你只在某一个driver中追加内容信息，不必要对于整个HDFS都开启内容追加：
在某个方法中，追加文件信息：
private void combinerMid(Path input,Path output,Configuration conf){
FileSystem hdfs = null;
conf.setBoolean("dfs.support.append", true);
try{
hdfs = FileSystem.get(conf);
FSDataInputStream in = hdfs.open(input);
FSDataOutputStream out = hdfs.append(output);
IOUtils.copyBytes(in,out,4096,true);
}catch (IOException e){
e.printStackTrace();
}
}
使用以上方法，便可以向output文件中追加input中的文件内容

如果需要开启对于整个HDFS的文件追加内容权限需要在
hdfs-site.xml中增加以下配置
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>

向HDFS中追加内容

标签：hadoop hdfs

原文地址：http://blog.csdn.net/qingmu0803/article/details/41170713

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行