读程图： 1、客户端发送请求，调用DistributedFileSystem API的open方法发送请求到Namenode，获得block的位置信息，因为真正的block是存在Datanode节点上的，而namenode里存放了block位置信息的元数据。 2、Namenode返回所有block的 ...
分类：
其他好文 时间：
2017-06-04 00:55:37
阅读次数：
234
1运行环境说明1.1硬软件环境1.2机器网络环境2书面作业1：编译并运行《权威指南》中的例3.22.1书面作业1内容2.2运行代码2.3实现过程2.3.1创建代码目录2.3.2建立例子文件上传到hdfs中2.3.3配置本地环境2.3.4编写代码2.3.5编译代码2.3.6使用编译代码读取文件3书面作业2：写入HDFS..
分类：
其他好文 时间：
2017-04-08 23:07:52
阅读次数：
522
hadoop三个核心内容是HDFS、mapreduce以及HBase。此文简单描述HDFS的读写原理读原理HDFS客户端调用DistributedFileSystem中的open（）通过RPC协议调用NameNode来确定请求文件块所在的位置DistributedFileSystem（以下简称DFS）向客户端返回一个支持文件定位的输入流对象FSDataI..
分类：
其他好文 时间：
2016-09-18 21:18:11
阅读次数：
142
一、HDFS基本概念HDFS全称是HadoopDistributedSystem。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、..
分类：
其他好文 时间：
2016-08-26 15:45:34
阅读次数：
2171
一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) thro ...
分类：
其他好文 时间：
2016-08-23 20:29:37
阅读次数：
168
Hadoop学习总结之五：Hadoop的运行痕迹 Hadoop 学习总结之一：HDFS简介 Hadoop学习总结之二：HDFS读写过程解析 Hadoop学习总结之三：Map-Reduce入门 Hadoop学习总结之四：Map-Reduce的过程解析 在使用hadoop的时候，可能遇到各种各样的问题， ...
分类：
其他好文 时间：
2016-08-23 20:25:00
阅读次数：
165
一、HDFS读文件过程 1、客户端调用DistributedFileSystem的对象实例FileSystem的open方法来打开希望读取的文件，调用open后会返回一个FSDataInputStream对象。 2、分布式文件系统DistributedFileSystem通过RCP（远程过程调用）来 ...
分类：
其他好文 时间：
2016-06-25 12:15:01
阅读次数：
394
一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) thro ...
分类：
其他好文 时间：
2016-06-14 21:01:42
阅读次数：
273
