socket的粘包为在数据量小与时间间隔短的情况下 优化算法使数据减少IO以达到提高效率，减少网络IO的一种方式 socket下的send与recv并不是一对一的 可以一对多 多对一即可 粘包主要是接收端不知所接收的大小(即不知数据的开头与结尾) 只要明确数据的大小 即可解决粘包导致的缺点 一般可以 ...
分类：
其他好文 时间：
2020-02-23 18:37:06
阅读次数：
77
磁盘IO和网络IO该如何评估、监控、性能定位和优化生产中经常遇到一些IO延时长导致的系统吞吐量下降、响应时间慢等问题，例如交换机故障、网线老化导致的丢包重传；存储阵列条带宽度不足、缓存不足、QoS限制、RAID级别设置不当等引起的IO延时。一、评估IO能力的前提评估一个系统IO能力的前提是需要搞清楚这个系统的IO模型是怎么样的。那么IO模型是什么，为什么要提炼IO模型呢？（一）、IO模型在实际的业
分类：
其他好文 时间：
2020-02-17 13:57:08
阅读次数：
76
1、同步网络IO模型 网络IO模型分两段，一个write,一个read，write操作我们不需要考虑，这里我们看read操作。 接受线程会一直阻塞，当有数据到来的时候，操作系统会先把数据写入接收缓存，然后给接收数据的线程发一个通知， 线程收到通知后结束等待，开始读取数据。处理完这一批数据后，继续阻塞 ...
分类：
其他好文 时间：
2020-02-10 19:39:45
阅读次数：
64
操作系统基本概念 首先来来说下操作系统，嗯， 操作系统是计算机硬件的管理软件，是对计算机硬件的抽象 ，操作系统将应用程序分为用户态和内核态，例如驱动程序就位于内核态，而我们写的一般程序都是用户态，包括web服务器这些，应用程序无法直接操控硬件，只能通过系统调用，通过操作系统驱动io硬件，通过操作系统 ...
分类：
其他好文 时间：
2020-01-31 16:00:54
阅读次数：
69
一、网络IO的处境和趋势 从我们用户的使用就可以感受到网速一直在提升，而网络技术的发展也从1GE/10GE/25GE/40GE/100GE的演变，从中可以得出单机的网络IO能力必须跟上时代的发展。 1. 传统的电信领域 IP层及以下，例如路由器、交换机、防火墙、基站等设备都是采用硬件解决方案。基于专 ...
分类：
其他好文 时间：
2020-01-27 17:13:19
阅读次数：
82
影响Linux服务器性能的因素 1. cpu 2. 内存 3. 磁盘IO 4. 网络IO 系统性能评估标准 |影响性能因素|好|坏|糟糕| |: |: |: |: | |CPU|user% + sys%=90%| |内存|Swap In(si)=0Swap Out(so)=0|Per CPU wit ...
分类：
系统相关 时间：
2020-01-26 00:51:32
阅读次数：
136
【前言】 队列是众多数据结构中最常见的一种之一。曾经有人和我说过这么一句话，叫做“程序等于数据结构+算法”。因此在设计模块、写代码时，队列常常作为一个很常见的结构出现在模块设计中。DPDK不仅是一个加速网络IO的框架，其内部还提供众多的功能组件，rte_ring就是DPDK内部提供的一种无锁队列，本 ...
分类：
其他好文 时间：
2020-01-18 16:11:20
阅读次数：
76
1、MapReduce跑的慢的原因 MapReduce程序效率的瓶颈主要在于两点： 1、机器性能不足（CPU、内存、磁盘健康、网络） 2、IO操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待的时间太久 小文件 大量不可切分的超大文件 spill溢写次数过 ...
分类：
其他好文 时间：
2020-01-08 00:46:53
阅读次数：
116
BIO称为阻塞IO，主要应用与文件IO和网络IO，在JDK1.4之前我们建立网络连接的时候只能采用BIO，需要先在服务端建立一个ServerSocket，然后在客户端启动Socker来对服务端进行通信，默认情况下服务端需要对每个请求建立一堆线程等待请求，而客户端发送请求后，而客户端发送请求后，先咨询 ...
分类：
其他好文 时间：
2020-01-04 18:48:17
阅读次数：
81
背景 源码版本：2.1.11-stable 核心思想：Reactor模型（事件驱动） 处理的事件类型：网络IO读写，定时器，信号 reactor模型 它是一种“事件驱动”机制。程序想处理某个事件，需要提供相应的接口并注册到reactor上；如果相应的事件发生，reactor将主动调用此事件注册的接口 ...
分类：
其他好文 时间：
2019-12-31 23:15:51
阅读次数：
85
