零拷贝(zero-copy)
实现主机或路由器等设备高速网络接口的主要技术。零拷贝技术通过减少或消除关键通信路径影响速率的操作,降低数据传输的操作系统开销和协议处理开销,从而有效提高通信性能,实现高速数据传输。...
分类:
系统相关 时间:
2014-10-13 19:50:47
阅读次数:
203
总体结构: 内部结构: 主要特点: ? 生产者、服务器和消费者都可分布 消息存储顺序写 性能极高,吞吐量大 支持消息顺序 支持本地和XA事务 客户端pull,随机读,利用sendfile系统调用,zero-copy ,批量拉数据 支持...
分类:
编程语言 时间:
2014-10-07 23:15:34
阅读次数:
378
一。传统数据传输1.user mode &kernel mode2.context switchThe steps involved are:1.The read() call causes a context switch (see Figure 2) from user mode to kern...
分类:
其他好文 时间:
2014-09-24 02:06:45
阅读次数:
514
A computer-implemented system and method for a lock-less, zero data copy messaging mechanism in a multi-core processor for use on a modem in a telecom...
分类:
移动开发 时间:
2014-09-16 00:19:19
阅读次数:
395
介绍 ? ? ?java 的zero copy多在网络应用程序中使用。Java的libaries在linux和unix中支持zero copy,关键的api是java.nio.channel.FileChannel的transferTo(),transferFrom()方法。我们可以用这两个方法来把b...
分类:
编程语言 时间:
2014-08-11 12:15:42
阅读次数:
378
Kakfa在提高效率方面做了很大努力。Kakfa的一个主要使用场景是处理网站活动日志,吞吐量是非常大的,每个页面都会产生好多次写操作。读方面,假设每个消息只被消费一次,读的量的也是很大的,Kafka也尽量使读的操作更轻量化。
我们之前讨论了磁盘的性能问题,线性读写的情况下影响磁盘性能问题大约有两个方面:太多的琐碎的I/O操作和太多的字节拷贝。...
分类:
其他好文 时间:
2014-07-10 22:24:30
阅读次数:
260
刚接触一些Apache Kafka的内容,用了两天时间研究了一下,仅以此文做相关记录,以供学习交流。概念:kafka依赖的项:1.硬件上,kafka利用线性存储来进行硬盘直接读写。2.kafka没有使用内存作为缓存。3.用zero-copy。4.Gzip和Snappy压缩,5.kafka对事务处理比...
分类:
其他好文 时间:
2014-06-20 18:18:45
阅读次数:
329