标签：submit 任务 指针 目标 cat osi string class 参与
本文目录：
1.1 背景说明：网络数据传输的全过程
1.2 zero-copy:mmap()
1.3 zero-copy:sendfile()
1.4 zero-copy:splice()
1.5 zero-copy:tee()
1.6 写时复制技术
在每一次网络io过程，数据都要经过几个缓存，再发送出去。如下图：
以右侧为浏览器，左侧为httpd服务器为例。
需要注意，对于httpd端来说，如果网速很慢，而httpd子进程/线程需要响应出去的数据又足够大(比send buffer还大)，很可能会导致socket buffer填满的情况，这时write()函数会返回EWOULDBLOCK或EAGAIN，子进程/线程会进入等待状态。
对于浏览器一端来说，如果浏览器进程迟迟不将数据从socket buffer(recv buffer)中取走，很可能会导致socket buffer被填满。
再来说httpd端网络数据的"经历"。如下图：
每次进程/线程需要一段数据时，总是先拷贝到kernel buffer，再拷贝到app buffer，再拷贝到socket buffer，最后再拷贝到网卡上。也就是说，总是会经过4段拷贝经历。
但想想，正常情况下，数据从存储设备到kernel buffer是必须的，从socket buffer到NIC也是必须的，但是从kernel buffer到app buffer是必须的吗？进程一定需要访问、修改这些数据吗？不一定，甚至对于web服务来说，如果不是要修改http响应报文，数据完全可以不用经过用户空间。也就是不用再从kernel buffer拷贝到app buffer，这就是零复制的概念。
零复制的概念是避免将数据在内核空间和用户空间进行拷贝。主要目的是减少不必要的拷贝，避免让CPU做大量的数据拷贝任务。
注：上面只是说正常情况下，例如某些硬件可以完成TCP/IP协议栈的工作，数据可以不经过socket buffer，直接在app buffer和硬件之间传输数据，RDMA技术就是在此基础上实现的。
mmap()函数将文件映射到内存中，映射成功时返回指向目标区域的指针。这段内存空间可以用作进程间的共享内存空间。于是kernel buffer中的那块数据不用再拷贝给用户空间的app buffer，而是直接将这块数据直接拷贝给socket buffer，实现零复制。如图：
代码如下：
#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags,
int fd, off_t offset);
这样一来，app buffer可以访问到kernel buffer中共享的数据，数据也传输给了socket buffer，减少了一次CPU拷贝动作，也避免的内核空间和用户空间的上下文切换。
man文档对此函数的描述：
sendfile() copies data between one file descriptor and another. Because this copying is done within the kernel, sendfile() is more efficient than the combination of read(2) and write(2), which would require transferring data to and from user space.
sendfile()函数借助文件描述符来实现数据拷贝：直接将文件描述in_fd的数据拷贝给文件描述符out_fd，其中in_fd是数据提供方，out_fd是数据接收方。文件描述符的操作都是在内核进行的，不会经过用户空间，所以数据不用拷贝到app buffer，实现了零复制。如下图
sendfile()的代码如下：
#include<sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
但是sendfile的in_fd必须指向支持mmap的文件，也就是真实存在的文件，而不能是socket、管道等文件。在Linux 2.6.33之前，还限制out_fd必须是指向socket文件的描述符，所以人们总认为它专门用于进行网络数据拷贝。但从Linux 2.6.33开始，out_fd可以是任何文件，且如果是一个普通文件，则sendfile()会合理地修改文件的offset。
man文档对此函数的描述：
splice() moves data between two file descriptors without copying between kernel address space and user address space.
It transfers up to len bytes of data from the file descriptor fd_in to the file descriptor fd_out, where one of
thedescriptors must refer to a pipe.
splice()函数可以在两个文件描述符之间移动数据，且其中一个描述符必须是管道描述符。由于不需要在kernel buffer和app buffer之间拷贝数据，所以实现了零复制。如图：
注：由于必须有一方是管道描述符，所以上图中，如果是发送给socket文件描述符，那么是没有storage-->kernel buffer的DMA操作的。
代码如下：
#define _GNU_SOURCE /* See feature_test_macros(7) */
#include <fcntl.h>
ssize_t splice(int fd_in, loff_t *off_in, int fd_out,
loff_t *off_out, size_t len, unsigned int flags);
man文档对此函数的描述：
tee() duplicates up to len bytes of data from the pipe referred to by the file descriptor fd_in to the pipe
referred to by the file descriptor fd_out. It does not consume the data that is duplicated from fd_in;
therefore, that data can be copied by a subsequent splice(2).
tee()函数在两个管道描述符之间复制数据。由于从in_fd复制给另一个管道out_fd时，不认为数据是来自于in_fd的，所以复制数据后，in_fd仍可使用splice()函数进行数据移动。由于没有经过用户空间，所以实现了零复制。如图：
Linux下的tee程序就是使用tee函数结合splice函数实现的，先将数据通过tee()函数拷贝给管道，再使用splice()函数将数据移动给另一个文件描述符。
代码如下：
#define _GNU_SOURCE /* See feature_test_macros(7) */
#include <fcntl.h>
ssize_t tee(int fd_in, int fd_out, size_t len, unsigned int flags);
当父进程fork生成子进程时，会复制它的所有内存页。这至少会导致两个问题：消耗大量内存；复制操作消耗时间。特别是fork后使用exec加载新程序时，由于会初始化内存空间，所以复制操作几乎是多余的。
使用copy-on-write技术，使得在fork子进程时不复制内存页，而是共享内存页(也就是说，子进程也指向父进程的物理空间)，只有在该子进程需要修改某一块数据，才会将这一块数据拷贝到自己的app buffer中并进行修改，那么这一块数据就属于该子进程的私有数据，可随意访问、修改、复制。这在一定程度上实现了零复制，即使复制了一些数据块，也是在逐渐需要的过程进行复制的。
写时复制内容太多，简单概述的话大概就是上面所述内容。
标签：submit 任务 指针 目标 cat osi string class 参与
原文地址：http://www.cnblogs.com/f-ck-need-u/p/7615914.html
