Hadoop-06-RPC机制以及HDFS源码分析

标签：blog   http   io   ar   os   使用   sp   java   for   

1.RPC机制

1.1.概述

1.2.调用过程

1.3.代码实现

package mavshuang.rpc;
import org.apache.hadoop.ipc.VersionedProtocol;
public interface MyBizable extends VersionedProtocol {
	public static final long VERSION = 123456L;
	public abstract String hello(String name);
}

package mavshuang.rpc;import java.io.IOException;
public class MyBiz implements MyBizable {
public long getProtocolVersion(String protocol , long clientVersion) throws IOException {
		return MyBizable.VERSION;
	}
	public String hello(String name) {
		System.out.println("我被调用了！");
		return "hello" +name;
	}
}

package mavshuang.rpc;
import java.net.InetSocketAddress;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
public class MyClient {
	public static void main(String[] args) throws Exception {
		final MyBizable proxy = (MyBizable) RPC.waitForProxy(MyBizable.class, MyBizable.VERSION, new InetSocketAddress(MyServer.SERVER_IP, MyServer.SERVER_PORT), new Configuration());
		String result = proxy.hello("world,hello mavs！");
		System.out.println("客户端返回的结果：" + result);
		RPC.stopProxy(proxy); // 关闭网络连接
	}
}

package mavshuang.rpc;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.RPC.Server;
public class MyServer {
	public static final String SERVER_IP = "localhost";// 指定服务器IP
	public static final int SERVER_PORT = 9999;// 指定服务器端口
	public static void main(String[] args) throws Exception {
		/**
		 * 构造一个 RPC 服务端.
		 * 
		 * @param instance
		 *            实例对象中的方法会被客户端调用
		 * @param bindAddress
		 *            the address to bind on to listen for connection：监听连接的IP地址
		 * @param port
		 *            the port to listen for connections on：监听连接的端口号
		 * @param conf
		 *            the configuration to use：使用的确认协议
		 */
		final Server server = RPC.getServer(new MyBiz(), SERVER_IP, SERVER_PORT, new Configuration());
		server.start();// 启动服务
	}
}

2.HDFS的分布式存储架构的源码分析

2.1.NameNode的接口分析

查看 NameNode 的源码，如下图所示 

2.2. DataNode的接口分析

按照分析 NameNode 的思路，看一下 DataNode 的源码接口。

2.3. HDFS的写数据过程分析

在上图中，返回值正是第 713 行创建的对象。继续查看该方法：

在上图中，可以看到 namenode 其实是 ClientProtocal 接口。那么，这个对象是什么时候创建？如下图所示。

2.4. HDFS的读数据过程分析

继续在 FileSystem 类分析，读数据使用的是 open(…)方法，可以看到源码，如下图所示。

在上图中，返回的是 DFSClient 类中 DFSDataInputStream 类，显而易见，这是一个内部类。这个内部类的构造函数，有两个形参，第一个参数是 dfs.open(…)创建的对象。看一下方法的源码，如下图所示。

在上图中，这个构造方法中最重要的语句是第 1834 行，打开信息，从第 1840 行开始是 openInfo()的源代码，截图显示不全。注意第 1841 行，是获取数据块的信息的。查看这一行的源代码，如下图所示。

Hadoop-06-RPC机制以及HDFS源码分析

标签：blog   http   io   ar   os   使用   sp   java   for   

原文地址：http://blog.csdn.net/mavs41/article/details/41090531