hive创建目录时相关的几个hdfs中的类:org.apache.hadoop.hdfs.DistributedFileSystem，FileSystem的具体实现类
org.apache.hadoop.hdfs.DFSClient，client操作hdfs文件系统的类
org.apache.hadoop.fs.permission.FsPermission文件权限相关类，主要的方法有getUMask和applyUMask..
分类：
其他好文 时间：
2014-12-19 01:58:23
阅读次数：
149
通过命令：
Hadoop fs -put /opt/program/userall20140828 hdfs://localhost:9000/tmp/tvbox/
上传文件到hdfs是出现错误
14/12/11 17:57:49 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteE...
分类：
Web程序 时间：
2014-12-12 19:11:14
阅读次数：
441
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs...
分类：
其他好文 时间：
2014-12-04 17:57:26
阅读次数：
450
异常日志： 2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception? for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000...
分类：
其他好文 时间：
2014-10-29 13:13:23
阅读次数：
357
Hadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此，Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“Local Reads”。本文将介绍在优化Local Reads的一些方案。...
分类：
其他好文 时间：
2014-10-17 18:50:01
阅读次数：
310
WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /input/LICENSE.txt could only be replicated to 0 nodes, instead of 1
at org.apache...
分类：
其他好文 时间：
2014-07-29 18:13:22
阅读次数：
227
