Java NIO 系列教程（转）

标签：

原文中说了最重要的3个概念，
Channel 通道
Buffer 缓冲区
Selector 选择器
其中Channel对应以前的流，Buffer不是什么新东西，Selector是因为nio可以使用异步的非堵塞模式才加入的东西。
以前的流总是堵塞的，一个线程只要对它进行操作，其它操作就会被堵塞，也就相当于水管没有阀门，你伸手接水的时候，不管水到了没有，你就都只能耗在接水（流）上。
nio的Channel的加入，相当于增加了水龙头（有阀门），虽然一个时刻也只能接一个水管的水，但依赖轮换策略，在水量不大的时候，各个水管里流出来的水，都可以得到妥善接纳，这个关键之处就是增加了一个接水工，也就是Selector，他负责协调，也就是看哪根水管有水了的话，在当前水管的水接到一定程度的时候，就切换一下：临时关上当前水龙头，试着打开另一个水龙头（看看有没有水）。
当其他人需要用水的时候，不是直接去接水，而是事前提了一个水桶给接水工，这个水桶就是Buffer。也就是，其他人虽然也可能要等，但不会在现场等，而是回家等，可以做其它事去，水接满了，接水工会通知他们。
这其实也是非常接近当前社会分工细化的现实，也是统分利用现有资源达到并发效果的一种很经济的手段，而不是动不动就来个并行处理，虽然那样是最简单的，但也是最浪费资源的方式。

Java NIO 概述

（本部分原文链接，作者：Jakob Jenkov， 译者：airu，校对：丁一）  Java NIO 由以下几个核心部分组成： 

• Channels
• Buffers
• Selectors

虽然Java NIO 中除此之外还有很多类和组件，但在我看来，Channel，Buffer 和 Selector 构成了核心的API。其它组件，如Pipe和FileLock，只不过是与三个核心组件共同使用的工具类。因此，在概述中我将集中在这三个组件上。其它组件会在单独的章节中讲到。 
Channel 和 Buffer 
基本上，所有的 IO 在NIO 中都从一个Channel 开始。Channel 有点象流。 数据可以从Channel读到Buffer中，也可以从Buffer 写到Channel中。这里有个图示： 

Channel和Buffer有好几种类型。下面是JAVA NIO中的一些主要Channel的实现： 

• FileChannel
• DatagramChannel
• SocketChannel
• ServerSocketChannel

正如你所看到的，这些通道涵盖了UDP 和 TCP 网络IO，以及文件IO。 
与这些类一起的有一些有趣的接口，但为简单起见，我尽量在概述中不提到它们。本教程其它章节与它们相关的地方我会进行解释。 
以下是Java NIO里关键的Buffer实现： 

• ByteBuffer
• CharBuffer
• DoubleBuffer
• FloatBuffer
• IntBuffer
• LongBuffer
• ShortBuffer

这些Buffer覆盖了你能通过IO发送的基本数据类型：byte, short, int, long, float, double 和 char。 
Java NIO 还有个 Mappedyteuffer，用于表示内存映射文件， 我也不打算在概述中说明。 
Selector 
Selector允许单线程处理多个 Channel。如果你的应用打开了多个连接（通道），但每个连接的流量都很低，使用Selector就会很方便。例如，在一个聊天服务器中。 
这是在一个单线程中使用一个Selector处理3个Channel的图示： 

要使用Selector，得向Selector注册Channel，然后调用它的select()方法。这个方法会一直阻塞到某个注册的通道有事件就绪。一旦这个方法返回，线程就可以处理这些事件，事件的例子有如新连接进来，数据接收等。 

Java NIO vs. IO

（本部分原文地址，作者：Jakob Jenkov，译者：郭蕾，校对：方腾飞）  当学习了Java NIO和IO的API后，一个问题马上涌入脑海： 

引用

我应该何时使用IO，何时使用NIO呢？在本文中，我会尽量清晰地解析Java NIO和IO的差异、它们的使用场景，以及它们如何影响您的代码设计。

Java NIO和IO的主要区别 
下表总结了Java NIO和IO之间的主要差别，我会更详细地描述表中每部分的差异。 

IO	NIO
Stream oriented	Buffer oriented
Blocking IO	Non blocking IO
	Selectors

面向流与面向缓冲 
Java NIO和IO之间第一个最大的区别是，IO是面向流的，NIO是面向缓冲区的。 Java IO面向流意味着每次从流中读一个或多个字节，直至读取所有字节，它们没有被缓存在任何地方。此外，它不能前后移动流中的数据。如果需要前后移动从流中读取的数据，需要先将它缓存到一个缓冲区。 Java NIO的缓冲导向方法略有不同。数据读取到一个它稍后处理的缓冲区，需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是，还需要检查是否该缓冲区中包含所有您需要处理的数据。而且，需确保当更多的数据读入缓冲区时，不要覆盖缓冲区里尚未处理的数据。 
阻塞与非阻塞IO 
Java IO的各种流是阻塞的。这意味着，当一个线程调用read() 或 write()时，该线程被阻塞，直到有一些数据被读取，或数据完全写入。该线程在此期间不能再干任何事情了。 Java NIO的非阻塞模式，使一个线程从某通道发送请求读取数据，但是它仅能得到目前可用的数据，如果目前没有数据可用时，就什么都不会获取。而不是保持线程阻塞，所以直至数据变的可以读取之前，该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道，但不需要等待它完全写入，这个线程同时可以去做别的事情。 线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作，所以一个单独的线程现在可以管理多个输入和输出通道（channel）。 
选择器（Selectors） 
Java NIO的选择器允许一个单独的线程来监视多个输入通道，你可以注册多个通道使用一个选择器，然后使用一个单独的线程来“选择”通道：这些通道里已经有可以处理的输入，或者选择已准备写入的通道。这种选择机制，使得一个单独的线程很容易来管理多个通道。 
NIO和IO如何影响应用程序的设计 
无论您选择IO或NIO工具箱，可能会影响您应用程序设计的以下几个方面： 

• 对NIO或IO类的API调用。
• 数据处理。
• 用来处理数据的线程数。

API调用 
当然，使用NIO的API调用时看起来与使用IO时有所不同，但这并不意外，因为并不是仅从一个InputStream逐字节读取，而是数据必须先读入缓冲区再处理。 
数据处理 
使用纯粹的NIO设计相较IO设计，数据处理也受到影响。 
在IO设计中，我们从InputStream或 Reader逐字节读取数据。假设你正在处理一基于行的文本数据流，例如： 

代码 

1. Name: Anna  
2. Age: 25  
3. Email: anna@mailserver.com  
4. Phone: 1234567890  

该文本行的流可以这样处理： 

Java代码 

1. InputStream input = … ; // get the InputStream from the client socket  
2. BufferedReader reader = new BufferedReader(new InputStreamReader(input));  
3.   
4. String nameLine   = reader.readLine();  
5. String ageLine    = reader.readLine();  
6. String emailLine  = reader.readLine();  
7. String phoneLine  = reader.readLine();  

请注意处理状态由程序执行多久决定。换句话说，一旦reader.readLine()方法返回，你就知道肯定文本行就已读完， readline()阻塞直到整行读完，这就是原因。你也知道此行包含名称；同样，第二个readline()调用返回的时候，你知道这行包含年龄等。 正如你可以看到，该处理程序仅在有新数据读入时运行，并知道每步的数据是什么。一旦正在运行的线程已处理过读入的某些数据，该线程不会再回退数据（大多如此）。下图也说明了这条原则： 

  从一个阻塞的流中读数据

而一个NIO的实现会有所不同，下面是一个简单的例子： 

Java代码 

1. ByteBuffer buffer = ByteBuffer.allocate(48);  
2.   
3. int bytesRead = inChannel.read(buffer);  

注意第二行，从通道读取字节到ByteBuffer。当这个方法调用返回时，你不知道你所需的所有数据是否在缓冲区内。你所知道的是，该缓冲区包含一些字节，这使得处理有点困难。  假设第一次 read(buffer)调用后，读入缓冲区的数据只有半行，例如，“Name:An”，你能处理数据吗？显然不能，需要等待，直到整行数据读入缓存，在此之前，对数据的任何处理毫无意义。 
所以，你怎么知道是否该缓冲区包含足够的数据可以处理呢？好了，你不知道。发现的方法只能查看缓冲区中的数据。其结果是，在你知道所有数据都在缓冲区里之前，你必须检查几次缓冲区的数据。这不仅效率低下，而且可以使程序设计方案杂乱不堪。例如： 

Java代码 

1. ByteBuffer buffer = ByteBuffer.allocate(48);  
2. int bytesRead = inChannel.read(buffer);  
3. while(! bufferFull(bytesRead) ) {  
4. bytesRead = inChannel.read(buffer);  
5. }  

bufferFull()方法必须跟踪有多少数据读入缓冲区，并返回真或假，这取决于缓冲区是否已满。换句话说，如果缓冲区准备好被处理，那么表示缓冲区满了。 
bufferFull()方法扫描缓冲区，但必须保持在bufferFull（）方法被调用之前状态相同。如果没有，下一个读入缓冲区的数据可能无法读到正确的位置。这是不可能的，但却是需要注意的又一问题。 
如果缓冲区已满，它可以被处理。如果它不满，并且在你的实际案例中有意义，你或许能处理其中的部分数据。但是许多情况下并非如此。下图展示了“缓冲区数据循环就绪”： 

  从一个通道里读数据，直到所有的数据都读到缓冲区里

总结 
NIO可让您只使用一个（或几个）单线程管理多个通道（网络连接或文件），但付出的代价是解析数据可能会比从一个阻塞流中读取数据更复杂。 
如果需要管理同时打开的成千上万个连接，这些连接每次只是发送少量的数据，例如聊天服务器，实现NIO的服务器可能是一个优势。同样，如果你需要维持许多打开的连接到其他计算机上，如P2P网络中，使用一个单独的线程来管理你所有出站连接，可能是一个优势。一个线程多个连接的设计方案如下图所示： 

  单线程管理多个连接

如果你有少量的连接使用非常高的带宽，一次发送大量的数据，也许典型的IO服务器实现可能非常契合。下图说明了一个典型的IO服务器设计： 

  一个典型的IO服务器设计：一个连接通过一个线程处理

通道（Channel）

（本部分原文链接，作者：Jakob Jenkov，译者：airu，校对：丁一）  Java NIO的通道类似流，但又有些不同： 

• 既可以从通道中读取数据，又可以写数据到通道。但流的读写通常是单向的。
• 通道可以异步地读写。
• 通道中的数据总是要先读到一个Buffer，或者总是要从一个Buffer中写入。

正如上面所说，从通道读取数据到缓冲区，从缓冲区写入数据到通道。如下图所示： 

Channel的实现 
这些是Java NIO中最重要的通道的实现： 

• FileChannel：从文件中读写数据。
• DatagramChannel：能通过UDP读写网络中的数据。
• SocketChannel：能通过TCP读写网络中的数据。
• ServerSocketChannel：可以监听新进来的TCP连接，像Web服务器那样。对每一个新进来的连接都会创建一个SocketChannel。

基本的 Channel 示例 
下面是一个使用FileChannel读取数据到Buffer中的示例： 

Java代码 

1. RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw");  
2. FileChannel inChannel = aFile.getChannel();  
3.   
4. ByteBuffer buf = ByteBuffer.allocate(48);  
5.   
6. int bytesRead = inChannel.read(buf);  
7. while (bytesRead != -1) {  
8.   
9. System.out.println("Read " + bytesRead);  
10. buf.flip();  
11.   
12. while(buf.hasRemaining()){  
13. System.out.print((char) buf.get());  
14. }  
15.   
16. buf.clear();  
17. bytesRead = inChannel.read(buf);  
18. }  
19. aFile.close();  

注意 buf.flip() 的调用，首先读取数据到Buffer，然后反转Buffer,接着再从Buffer中读取数据。下一节会深入讲解Buffer的更多细节。 

缓冲区（Buffer）

（本部分原文链接，作者：Jakob Jenkov，译者：airu，校对：丁一）  Java NIO中的Buffer用于和NIO通道进行交互。如你所知，数据是从通道读入缓冲区，从缓冲区写入到通道中的。 
缓冲区本质上是一块可以写入数据，然后可以从中读取数据的内存。这块内存被包装成NIO Buffer对象，并提供了一组方法，用来方便的访问该块内存。 
Buffer的基本用法 
使用Buffer读写数据一般遵循以下四个步骤： 

• 写入数据到Buffer
• 调用flip()方法
• 从Buffer中读取数据
• 调用clear()方法或者compact()方法

当向buffer写入数据时，buffer会记录下写了多少数据。一旦要读取数据，需要通过flip()方法将Buffer从写模式切换到读模式。在读模式下，可以读取之前写入到buffer的所有数据。 
一旦读完了所有的数据，就需要清空缓冲区，让它可以再次被写入。有两种方式能清空缓冲区：调用clear()或compact()方法。clear()方法会清空整个缓冲区。compact()方法只会清除已经读过的数据。任何未读的数据都被移到缓冲区的起始处，新写入的数据将放到缓冲区未读数据的后面。 
下面是一个使用Buffer的例子： 

Java代码 

1. RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw");  
2. FileChannel inChannel = aFile.getChannel();  
3.   
4. //create buffer with capacity of 48 bytes  
5. ByteBuffer buf = ByteBuffer.allocate(48);  
6.   
7. int bytesRead = inChannel.read(buf); //read into buffer.  
8. while (bytesRead != -1) {  
9.   
10.   buf.flip();  //make buffer ready for read  
11.   
12.   while(buf.hasRemaining()){  
13.       System.out.print((char) buf.get()); // read 1 byte at a time  
14.   }  
15.   
16.   buf.clear(); //make buffer ready for writing  
17.   bytesRead = inChannel.read(buf);  
18. }  
19. aFile.close();  

Buffer的capacity,position和limit 
缓冲区本质上是一块可以写入数据，然后可以从中读取数据的内存。这块内存被包装成NIO Buffer对象，并提供了一组方法，用来方便的访问该块内存。 
为了理解Buffer的工作原理，需要熟悉它的三个属性： 

• capacity
• position
• limit

position和limit的含义取决于Buffer处在读模式还是写模式。不管Buffer处在什么模式，capacity的含义总是一样的。 
这里有一个关于capacity，position和limit在读写模式中的说明，详细的解释在插图后面。 

capacity 
作为一个内存块，Buffer有一个固定的大小值，也叫“capacity”.你只能往里写capacity个byte、long，char等类型。一旦Buffer满了，需要将其清空（通过读数据或者清除数据）才能继续写数据往里写数据。 
position 
当你写数据到Buffer中时，position表示当前的位置。初始的position值为0.当一个byte、long等数据写到Buffer后， position会向前移动到下一个可插入数据的Buffer单元。position最大可为capacity – 1。 
当读取数据时，也是从某个特定位置读。当将Buffer从写模式切换到读模式，position会被重置为0。当从Buffer的position处读取数据时，position向前移动到下一个可读的位置。 
limit 
在写模式下，Buffer的limit表示你最多能往Buffer里写多少数据。 写模式下，limit等于Buffer的capacity。 
当切换Buffer到读模式时， limit表示你最多能读到多少数据。因此，当切换Buffer到读模式时，limit会被设置成写模式下的position值。换句话说，你能读到之前写入的所有数据（limit被设置成已写数据的数量，这个值在写模式下就是position） 
Buffer的类型 
Java NIO 有以下Buffer类型： 

• ByteBuffer
• MappedByteBuffer
• CharBuffer
• DoubleBuffer
• FloatBuffer
• IntBuffer
• LongBuffer
• ShortBuffer

如你所见，这些Buffer类型代表了不同的数据类型。换句话说，就是可以通过char，short，int，long，float 或 double类型来操作缓冲区中的字节。 
MappedByteBuffer 有些特别，在涉及它的专门章节中再讲。 
Buffer的分配 
要想获得一个Buffer对象首先要进行分配。 每一个Buffer类都有一个allocate方法。下面是一个分配48字节capacity的ByteBuffer的例子。 

Java代码 

1. ByteBuffer buf = ByteBuffer.allocate(48);  

这是分配一个可存储1024个字符的CharBuffer： 

Java代码 

1. CharBuffer buf = CharBuffer.allocate(1024);  

向Buffer中写数据 
写数据到Buffer有两种方式： 

• 从Channel写到Buffer。
• 通过Buffer的put()方法写到Buffer里。

从Channel写到Buffer的例子 

Java代码 

1. int bytesRead = inChannel.read(buf); //read into buffer.  

通过put方法写Buffer的例子： 

Java代码 

1. buf.put(127);  

put方法有很多版本，允许你以不同的方式把数据写入到Buffer中。例如， 写到一个指定的位置，或者把一个字节数组写入到Buffer。 更多Buffer实现的细节参考JavaDoc。 
flip()方法 
flip方法将Buffer从写模式切换到读模式。调用flip()方法会将position设回0，并将limit设置成之前position的值。 
换句话说，position现在用于标记读的位置，limit表示之前写进了多少个byte、char等 —— 现在能读取多少个byte、char等。 
从Buffer中读取数据 
从Buffer中读取数据有两种方式： 

• 从Buffer读取数据到Channel。
• 使用get()方法从Buffer中读取数据。

从Buffer读取数据到Channel的例子： 

Java代码 

1. //read from buffer into channel.  
2. int bytesWritten = inChannel.write(buf);  

使用get()方法从Buffer中读取数据的例子 

Java代码 

1. byte aByte = buf.get();  

get方法有很多版本，允许你以不同的方式从Buffer中读取数据。例如，从指定position读取，或者从Buffer中读取数据到字节数组。更多Buffer实现的细节参考JavaDoc。 
rewind()方法 
Buffer.rewind()将position设回0，所以你可以重读Buffer中的所有数据。limit保持不变，仍然表示能从Buffer中读取多少个元素（byte、char等）。 
clear()与compact()方法 
一旦读完Buffer中的数据，需要让Buffer准备好再次被写入。可以通过clear()或compact()方法来完成。 
如果调用的是clear()方法，position将被设回0，limit被设置成 capacity的值。换句话说，Buffer 被清空了。Buffer中的数据并未清除，只是这些标记告诉我们可以从哪里开始往Buffer里写数据。 
如果Buffer中有一些未读的数据，调用clear()方法，数据将“被遗忘”，意味着不再有任何标记会告诉你哪些数据被读过，哪些还没有。 
如果Buffer中仍有未读的数据，且后续还需要这些数据，但是此时想要先先写些数据，那么使用compact()方法。
compact()方法将所有未读的数据拷贝到Buffer起始处。然后将position设到最后一个未读元素正后面。limit属性依然像clear()方法一样，设置成capacity。现在Buffer准备好写数据了，但是不会覆盖未读的数据。 
mark()与reset()方法 
通过调用Buffer.mark()方法，可以标记Buffer中的一个特定position。之后可以通过调用Buffer.reset()方法恢复到这个position。例如： 

Java代码 

1. buffer.mark();  
2.   
3. //call buffer.get() a couple of times, e.g. during parsing.  
4.   
5. buffer.reset();  //set position back to mark.  

equals()与compareTo()方法 
可以使用equals()和compareTo()方法两个Buffer。 
equals() 
当满足下列条件时，表示两个Buffer相等： 

• 有相同的类型（byte、char、int等）。
• Buffer中剩余的byte、char等的个数相等。
• Buffer中所有剩余的byte、char等都相同。

如你所见，equals只是比较Buffer的一部分，不是每一个在它里面的元素都比较。实际上，它只比较Buffer中的剩余元素。 
compareTo()方法 
compareTo()方法比较两个Buffer的剩余元素(byte、char等)， 如果满足下列条件，则认为一个Buffer“小于”另一个Buffer： 

• 第一个不相等的元素小于另一个Buffer中对应的元素。
• 所有元素都相等，但第一个Buffer比另一个先耗尽(第一个Buffer的元素个数比另一个少)。

（译注：剩余元素是从 position到limit之间的元素） 

分散（Scatter）/聚集（Gather）

（本部分原文地址，作者：Jakob Jenkov   译者：郭蕾） 
Java NIO开始支持scatter/gather，scatter/gather用于描述从Channel（译者注：Channel在中文经常翻译为通道）中读取或者写入到Channel的操作。 
分散（scatter）从Channel中读取是指在读操作时将读取的数据写入多个buffer中。因此，Channel将从Channel中读取的数据“分散（scatter）”到多个Buffer中。 
聚集（gather）写入Channel是指在写操作时将多个buffer的数据写入同一个Channel，因此，Channel 将多个Buffer中的数据“聚集（gather）”后发送到Channel。 
scatter / gather经常用于需要将传输的数据分开处理的场合，例如传输一个由消息头和消息体组成的消息，你可能会将消息体和消息头分散到不同的buffer中，这样你可以方便的处理消息头和消息体。 
Scattering Reads 
Scattering Reads是指数据从一个channel读取到多个buffer中。如下图描述： 

代码示例如下： 

Java代码 

1. ByteBuffer header = ByteBuffer.allocate(128);  
2. ByteBuffer body   = ByteBuffer.allocate(1024);  
3.   
4. ByteBuffer[] bufferArray = { header, body };  
5.   
6. channel.read(bufferArray);  

注意buffer首先被插入到数组，然后再将数组作为channel.read() 的输入参数。read()方法按照buffer在数组中的顺序将从channel中读取的数据写入到buffer，当一个buffer被写满后，channel紧接着向另一个buffer中写。 
Scattering Reads在移动下一个buffer前，必须填满当前的buffer，这也意味着它不适用于动态消息(译者注：消息大小不固定)。换句话说，如果存在消息头和消息体，消息头必须完成填充（例如 128byte），Scattering Reads才能正常工作。 
Gathering Writes 
Gathering Writes是指数据从多个buffer写入到同一个channel。如下图描述： 

代码示例如下： 

Java代码 

1. ByteBuffer header = ByteBuffer.allocate(128);  
2. ByteBuffer body   = ByteBuffer.allocate(1024);  
3.   
4. //write data into buffers  
5.   
6. ByteBuffer[] bufferArray = { header, body };  
7.   
8. channel.write(bufferArray);  

buffers数组是write()方法的入参，write()方法会按照buffer在数组中的顺序，将数据写入到channel，注意只有position和limit之间的数据才会被写入。因此，如果一个buffer的容量为128byte，但是仅仅包含58byte的数据，那么这58byte的数据将被写入到channel中。因此与Scattering Reads相反，Gathering Writes能较好的处理动态消息。 

通道之间的数据传输

选择器（Selector）

文件通道

Socket 通道

ServerSocket 通道

Datagram 通道

管道（Pipe）

（本部分原文链接，作者：Jakob Jenkov，译者：黄忠，校对：丁一）  Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。 
这里是Pipe原理的图示： 

创建管道 
通过Pipe.open()方法打开管道。例如： 

Java代码 

1. Pipe pipe = Pipe.open();  

向管道写数据 
要向管道写数据，需要访问sink通道。像这样： 

Java代码 

1. Pipe.SinkChannel sinkChannel = pipe.sink();  

通过调用SinkChannel的write()方法，将数据写入SinkChannel,像这样： 

Java代码 

1. String newData = "New String to write to file..." + System.currentTimeMillis();  
2. ByteBuffer buf = ByteBuffer.allocate(48);  
3. buf.clear();  
4. buf.put(newData.getBytes());  
5.   
6. buf.flip();  
7.   
8. while(buf.hasRemaining()) {  
9.     <b>sinkChannel.write(buf);</b>  
10. }  

从管道读取数据 
从读取管道的数据，需要访问source通道，像这样： 

Java代码 

1. Pipe.SourceChannel sourceChannel = pipe.source();  

调用source通道的read()方法来读取数据，像这样： 

Java代码 

1. ByteBuffer buf = ByteBuffer.allocate(48);  
2.   
3. int bytesRead = inChannel.read(buf);  

read()方法返回的int值会告诉我们多少字节被读进了缓冲区

Java NIO 系列教程（转）

标签：

原文地址：http://www.cnblogs.com/softidea/p/4575784.html