1.1. hadoop抽象文件系统 因java.io.FileSystem为私有抽象包，不可被外界包引用，因此hadoop特别提供了一个抽象的文件系统, HDFS只是一个具体实现，org.apache.hadoop.fs.FileSystem hadoop通过getFi...
分类：
其他好文 时间：
2014-07-02 21:01:32
阅读次数：
284
1.1. java文件系统 1.1.1. URI和URL 1.1.2. java IO(自行研究)
分类：
编程语言 时间：
2014-07-02 20:51:44
阅读次数：
242
1.1.1. hadoop IO 对比Java IO即可 FSDataInputStream,FSDataOutputStream 为抽象类， FSInputStream抽象类 1.1.2. hadoop文件系统中的权限 枚举类FsAction定义了rwx权限，常量 ...
分类：
其他好文 时间：
2014-07-02 20:46:22
阅读次数：
308
一、SecondaryNameNode用途 SNN是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间，SNN进程默认运行在 namenode 机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，因此最佳方式是将SNN进程配置在另外....
分类：
其他好文 时间：
2014-07-01 21:53:52
阅读次数：
334
1.1. 压缩减少存储空间，加快传输速率在hadoop中，压缩应用于文件存储、Map端到Reduce端的数据交换等情景。hadoop，主要考虑压缩速率和压缩文件的可分割性压缩算法：时间和空间的权衡 更快的压缩和解压缩效率通常压缩比较低。hadoop提供了对压缩算法的编码和解码器类编码和解码示例（采用...
分类：
其他好文 时间：
2014-07-01 12:13:27
阅读次数：
222
1. hadoop远程过程调用RPC：XML-RPC，JSON-RPC，CORBA，RMI（Remote Method Invocation）,Haoop IPC(进程间通信)RPC原理：允许本地程序（客户端）调用其他机器（服务器）上的过程，客户端使用参数将信息传送给调用方，通过返回值得到消息。RP...
分类：
其他好文 时间：
2014-07-01 12:01:22
阅读次数：
316
1.1. hadoop远程过程调用1、 远程接口调用（必须实现VersionedProtocol接口）里面有一个方法，IPC通信时会比较客户端和服务端接口的版本号。必须一致才可以package rpc;import org.apache.hadoop.ipc.VersionedProtocol;pu...
分类：
其他好文 时间：
2014-07-01 11:58:14
阅读次数：
186
1.1. java动态代理java.lang.reflect包下的Proxy（创建代理对象）和InvocationHandler（调用转发）两个类代理对象代表目标对象（target）执行相应的活动静态代理：代理对象实现目标对象一致的接口，实现代理接口和调用转发 （不推荐使用）在调用前后的附加逻辑，体...
分类：
其他好文 时间：
2014-07-01 11:41:22
阅读次数：
189
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
HDFS文件系统讲解，主要包括：1、namenode/datanode；2、数据存储副本；3、元数据持久化；4、数据模型；5、故障容错
分类：
其他好文 时间：
2014-06-30 22:01:26
阅读次数：
231
