码迷,mamicode.com
首页 > 编程语言 > 详细

Java网络通信编程从基础到框架

时间:2020-06-06 12:51:26      阅读:81      评论:0      收藏:0      [点我收藏+]

标签:基本   服务器端   guide   oss   参考   编程   数组   java   原因   

一  基本概念
  1. IO(BIO)和NIO的区别:其本质就是阻塞和非阻塞的区别。
    阻塞:应用程序在获取网络数据的时候,如果网络传输数据很慢,那程序就一直等着,直到传输完毕为止。
    非阻塞:应用程序直接可以获取已经准备就绪的数据,无需等待。
    IO为同步阻塞形式,NIO为同步非阻塞,到JDK1.7,NIO为异步非阻塞。
    同步是指应用程序直接参与IO读写;异步是指操作系统操作IO,应用程序直接取结果。
    同步说的是server服务器端的执行方式; 阻塞说的是具体的技术,接受数据的方式。
  1. NIO基于Buffer(缓冲区)、Channel(管道)、Selector(选择器)。
    2.1 Buffer:实质上是一个数组,它为缓冲区提供了数据操作的概念,如位置、容量等。除Boolean外,每一种java基本类型都对应了一种缓冲区。
    2.2 Channel:类似水管,网络数据通过Channel读取和写入。
      通道是双向的,流是单向的。
      通道可用于读、写或两者同时进行。
      通道可以与多路复用器结合,有多种状态位,方便多路复用器识别。
      通道分为两大类:网络读写(SelectableChannel);
      文件操作(FileChannel);
 
  3. Selector:多路复用器(selector),他是NIO编程的基础,非常重要。多路复用器提供选择已经就绪的任务的能力。

  简单说,就是selector会不断地轮询注册在其上的通道(channel),如果某个通道发生了读写操作,这个通道就处于就绪状态,会被selector轮询出来,然后通过selectionKey可以取得就绪的channel集合,从而进行后续的IO操作。
  一个多路复用器(selector)可以负责成千上万channel通道,没有上限,这也是JDK使用了epoll代替了传统的select实现,获取连接句柄没有限制。这也就意味着我们只要一个线程负责selector的轮询,就可以接入成千上万个客户端,这就是JDK NIO库的巨大进步。

  (扩展——Epoll是什么:epoll是Linux内核为处理大批量文件描述符而作了改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。另一点原因就是获取事件的时候,它无须遍历整个被侦听的描述符集,只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。epoll除了提供select/poll那种IO事件的水平触发(Level Triggered)外,还提供了边缘触发(Edge Triggered),这就使得用户空间程序有可能缓存IO状态,减少epoll_wait/epoll_pwait的调用,提高应用程序效率。)

  selector线程就类似一个管理者(master),管理成千上万个管道,然后轮询哪个管道的数据已经准备好,通知cpu执行IO的读取或写入操作。
selector模式:当IO事件(管道)注册到选择器以后,selector会分配给每个管道一个key值,相当于标签。selector选择器是以轮询的方式进行查找注册的所有IO事件(管道),当我们的IO事件(管道)准备就绪后,select就会识别,会通过key值来找到相应的管道,进行相关的数据处理操作(从管道里读或写数据,写到我们的数据缓冲区中)。
每个管道都会对选择器进行注册不同的事件状态,以便选择器查找。

  SelectionKey.OP_CONNECT

  SelectionKey.OP_ACCEPT

  SelectionKey.OP_READ

  SelectionKey.OP_WRITE

 面试常问:Bio——NIO——AIO区别和进化过程

 
二  Netty
 
简单强大的NIO框架,异步。可以快速开发网络应用,如服务器和客户端协议。简单实现点我参考
1、TCP粘包、拆包问题

  熟悉tcp编程的可能都知道,无论是服务器端还是客户端,当我们读取或者发送数据的时候,都需要考虑tcp底层的粘包/拆包机制。
  tcp是一个“流”协议,所谓流就是没有界限的一串数据。大家可以想象下如果河里的水就好比数据,他们是连成一片的,没有分界线。tcp底层并不了解上层的业务数据具体的含义,它会根据tcp缓冲区的实际情况进行包的划分,也就是说,在业务上,我们一个完整的包可能会被tcp分成多个包进行发送,也可能把多个小包封装成一个大的数据包发送出去,这就是所谓的tcp粘包、拆包问题。
  分析tcp粘包、拆包问题的产生原因
    1.应用程序write写入的字节大小大于套接口发送缓冲区的大小
    2.进行MSS大小的TCP分段
    3.以太网帧的payload大于MTU进行IP分片

  拆包的三种解决方案
    1.消息定长,例如每个报文的大小固定为200个字节,如果不够,空位补空格。
    2.在包尾部增加特殊字符进行分割,例如加回车等。
    3.将消息分为消息头和消息体,在消息头中包含表示消息总长度的字段,然后进行业务逻辑的处理

  拆包具体实现可以用两个类
    1.分隔符类:DelimiterBasedFrameDecoder(自定义分隔符)
    2.FixedLengthFrameDecoder(定长)


2、Netty编解码技术
      编解码技术,说白了就是Java序列化技术,序列化目的就两个,第一是进行网络传输,第二是对象持久化。
      虽然我们可以使用Java进行对象序列化,netty去传输,但是Java序列化的硬伤太多,比如Java序列化没法跨语言、序列化后码流太大、序列化性能太低等等
      主流的编解码框架:
        JBoss的Marshalling包(是一个Java对象序列化包,对JDK默认的序列化框架进行了优化,又保持了跟java.io.serializable接口的兼容,同时增加了一些可调参数,与netty结合后进行序列化对象的代码编写很简单)
        google的protobuf
        基于protobuf的Kyro
        MessagePack框架

 

3、Netty主要应用场景

  1.数据通信  

    两台及以上机器如何使用netty通信:
      1.使用长连接通道不断开的形式进行通信,也就是服务器和客户端的通道一直处于开启状态,如果服务器性能够好,并且客户端数量也比较少的情况下,推荐此方式。
      2.一次性批量提交数据,采用短连接方式。也就是我们会把数据保存在本地临时缓冲区或者临时表里,当达到临界值时进行一次性批量提交,又或者根据定时任务轮询提交,这种情况的弊端是做不到实时传输,对实时性要求不高的应用程序中可以推荐使用。
      3.我们可以使用一种特殊的长连接,在指定某一段时间之内,服务器与某台客户端没有任何通信,则断开连接。下次连接则是客户端向服务器发送请求的时候,再次建立连接。这种模式需要考虑两个因素,
        3.1如何在超时(即服务器和客户端没有任何通信)后关闭通道,关闭后又该如何再次建立连接
        3.2客户端宕机时,我们不用管,下次客户端重启之后我们就可以与服务器建立连接,但当服务器宕机时,我们的客户端如何与服务器进行连接

  2.心跳测试

    我们使用socket通信一般会经常处理多个服务器之间的心跳检测,一般服务器集群,会有一台或多台主机(master),和多台从机(slave),那么主机肯定要时时刻刻知道自己下面的从机的各方面情况,然后进行实时监控的功能,这个在分布式架构里叫做心跳检测或心跳监控。最佳处理方案还是使用一些通信框架进行实现,如netty。

  3.文件上传下载

 

附:Mina是一个和netty类似的框架,它属于Apache。

Java网络通信编程从基础到框架

标签:基本   服务器端   guide   oss   参考   编程   数组   java   原因   

原文地址:https://www.cnblogs.com/zhaot1993/p/13054025.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!