Hadoop RPC机制
RPC:远程服务调用，底层就是通过网络实现跨服务的应用调用。WebService是最常见的应用。下图给RCP的基本原理：基本分为四层，序列化层、函数调用层、网络传输层、服务端框架层。
Hadoop的节点之间的通信、节点之间的心跳等都涉及跨服务应用的调用，也就是经常会运用RCP，所以Hadoop干脆就开发了一套自己的RCP框架，这Hadoop RCP框架与Alibaba Dubbo来源和使用场景类似(JDK，已经有的RMI的RCP实现为啥Hadoop和Alibaba又自己开发一套？因为不好用！)，常见的RCP框架还有：zero ice、motan(新浪阉割Dubbo版)。Hadoop实现RCP的方式跟WebService不同，属于定制版(核心技术：动态代理、反射、序列化、非阻塞的异步IO:NIO)，就是为了解决hadoop场景下的服务调用。个人意见：如果独立使用RCP框架Alibaba Dubbo足够，如果装逼的话，可以使用Hadoop RCP。
Hadoop RCP的也是相当强大：透明、可控和高性能，Hadoop的具体各层实现：
（1）序列化层：Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的Writable类型；
（2）函数调用层：Hadoop RPC通过动态代理以及java反射实现函数调用；
（3）网络传输层：Hadoop RPC采用了基于TCP/IP的socket机制；
（4）服务器端框架层：RPC Server利用java NIO以及采用了事件驱动的I/O模型，提高RPC Server的并发处理能力；
Hadoop RPC 应用实例：
服务端：LoginServiceInterface.java
public interface LoginServiceInterface { public static final long versionID=1L; public String login(String username,String password); }
应用接口实现类：LoginServiceImpl.java
public class LoginServiceImpl implements LoginServiceInterface { @Override public String login(String username, String password) { return username + " logged in successfully!"; } }
启动RCP服务端：Starter.java
import java.io.IOException; import org.apache.hadoop.HadoopIllegalArgumentException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.ipc.RPC; import org.apache.hadoop.ipc.RPC.Builder; import org.apache.hadoop.ipc.RPC.Server; public class Starter { public static void main(String[] args) throws HadoopIllegalArgumentException, IOException { Builder builder = new RPC.Builder(new Configuration()); builder.setBindAddress("weekend110").setPort(10000).setProtocol(LoginServiceInterface.class).setInstance(new LoginServiceImpl()); Server server = builder.build(); server.start(); } }
客户端：服务端同样实现该接口：LoginServiceInterface.java 该接口的实现类：LoginController.java
import java.net.InetSocketAddress; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.ipc.RPC; public class LoginController { public static void main(String[] args) throws Exception { //proxy就是上图中的proxy,利用代理类(实现LoginController和Socket) LoginServiceInterface proxy = RPC.getProxy(LoginServiceInterface.class, 1L, new InetSocketAddress("weekend110", 10000), new Configuration()); String result = proxy.login("mijie", "123456"); System.out.println(result); } }
