Hadoop RPC机制-原理篇

标签：

        RPC，专业名称为远程过程调用。RPC协议比SOAP更加精简，通过RPC我们可以从网络上的计算机请求服务，而不需要了解底层网络协议。Hadoop底层的交互都是通过RPC进行的。例如Client、DataNode、NameNode之间的通讯全靠它。我们操作HDFS的时候，使用的是FileSystem类，它的内部有个DFSClient对象，这个对象负责与NameNode打交道。在运行时，DFSClient在本地创建一个NameNode的代理，然后就操作这个代理，这个代理就会通过网络，远程调用到NameNode的方法，返回相应的值。

RPC模式
       在java的网络编程中：当客户端发送一个字节给服务端时，服务端必须也要有一个读字节的方法在阻塞等待；反之亦然。这种我把它称为底层的通信协议。于是我们就可以想像一下，如果不使用RPC，那么在分布式调用中流程应该是样：服务器端先创建ServerSocket，在指定的ip地址和端口上监听，客户端创建到远程连接的Socket，待socket套接字完毕，我们可以从套接字拿到输入输出流InputStream，OutputStream。接着客户端就可以往输出流写序列化的参数，服务器端将读到的输入流中参数流进行反序列化成程序支持的类型，然后将处理的结果再序列化到输出流，发送给客户端。RPC就是基于此，将Socket程序进行了封装，并且定义了许多接口，将接口和接口中的方法称为协议，客户端和服务端只要实现这些接口中的方法就可以进行通信了。

工作原理
运行时,一次客户端对服务端的RPC调用,其内部操作大致有如下十步：

       当然，这只是RPC实现的一个非常基础性的简单原理，便于理解。真实的RPC框架也是基于此原理，只不过在此基础上增加了许多优化和容错的功能！

       基于以上工作原理，我在Github上上传了一个利用Hadoop RPC框架进行服务调用的小程序，结合起来可以更深刻的理解它的原理和应用。

下载地址：https://github.com/Jerry-Fu/HadoopRpcApplication/

Hadoop RPC机制-原理篇

标签：

原文地址：http://blog.csdn.net/u010010428/article/details/51345693