【转】转 Linux调优方案，sysctl.conf的设置

http://bbs.chinaunix.net/thread-2318039-1-1.html
问题表现就是epoll这个服务端对10000的并发请求处理特别慢，甚至还出现很多客户连接超时的情况！但是顺序的一个个请求却没有问题。

测试如下：
首先是1个进程，顺序10000个请求。服务端没问题，很快速完成。

然后是10000个进程，每个进程1个请求，开始都还正常，可是过一会服务端accept就阻塞了，大概有1-2s，之后又返回，有时候还会出现客户端连接超时的问题，但是这样测30章那个线程池（300个线程）的服务端代码，不管怎么测都不会有问题。

按理说accept应该能一直返回才对呀，为什么中途会阻塞呢？是内核参数问题？
之前也试过把listenfd也添加到epoll里，listenfd不是ET模式。也有这样的问题。

分析了很多可能：
?        epoll本身处理效率的问题（这个自己都不信）
?        服务端完成客户的处理请求太耗时，导致没有时间让accept返回其他客户连接（这是个最简单的处理，应该也不会）
?        单台机器测试，所以产生了太多的TIME_WAIT导致客户无法连接导致超时（之前以为是这个原因）
?        内核的一些限制问题，服务端不能同时处理太多连接（可能的原因）

最终才发现真正原因！！！
原来上面这个服务器代码listen指定的backlog连接完成队列参数太小，只有32，导致高并发的时候，服务器的连接完成队列在极短的时间内被填满 了，而accept的处理速度跟不上队列填满的速度，导致队列始终是满的，然后就不理会客户的其他连接请求，导致了客户connect超时，并且处理效率 低下。
而线程池的backlog有1024，不过受限于内核参数的默认值最大128，所以线程池这个的backlog实际是128（见man listen），再加上300个线程，每个线程独自accpet，所以能很快从完成队列中取得连接，客户的connect也不会超时了，如果把线程数改为 1个，客户连接也会超时。

详细信息可以man listen  同时man tcp 里面有很多限制对服务器来说需要改的。

一般设置:
1 #sudo vi /etc/sysctl.conf 
#在最后面编辑添加以下内容： 

#缺省socket写buffer,可参考的优化值:873200/1746400/3492800
net.core.wmem_default = 1746400

#最大socket写buffer,可参考的优化值:1746400/3492800/6985600
net.core.wmem_max = 3492800

#缺省socket读buffer,可参考的优化值:873200/1746400/3492800
net.core.rmem_default = 1746400

#最大socket读buffer,可参考的优化值:1746400/3492800/6985600
net.core.rmem_max = 3492800

#进入包的最大设备队列.默认是1000,对重负载服务器而言,该值太低,可调整到16384/32768/65535
net.core.netdev_max_backlog = 32768

#listen()的默认参数,挂起请求的最大数量.默认是128.对繁忙的服务器,增加该值有助于网络性能.可调整到8192/16384/32768
net.core.somaxconn = 16384

#每个socket buffer的最大补助缓存大小,默认10K(10240),也可调整到20k(20480),但建议保留
net.core.optmem_max = 10240

#表示用于向外连接的端口范围.缺省情况下过窄:32768到61000,改为1024到65535
net.ipv4.ip_local_port_range = 1024 65535

#TCP写buffer,可参考的优化值:873200/1746400/3492800/6985600
net.ipv4.tcp_wmem = 873200 1746400 3492800

#TCP读buffer,可参考的优化值:873200/1746400/3492800/6985600
net.ipv4.tcp_rmem = 873200 1746400 3492800

#net.ipv4.tcp_mem[0]:低于此值,TCP没有内存压力.
#net.ipv4.tcp_mem[1]:在此值下,进入内存压力阶段.
#net.ipv4.tcp_mem[2]:高于此值,TCP拒绝分配socket.
#上述内存单位是页,而不是字节.可参考的优化值是:78643200/104857600/157286400
net.ipv4.tcp_mem = 78643200 104857600 157286400

#进入SYN包的最大请求队列.默认1024.对重负载服务器,增加该值显然有好处.可调整到16384/32768/65535
net.ipv4.tcp_max_syn_backlog = 32768

#TCP失败重传次数,默认值15,意味着重传15次才彻底放弃.可减少到5,以尽早释放内核资源
net.ipv4.tcp_retries2 = 5

#以下3个参数与TCP KeepAlive有关.默认值是:
#tcp_keepalive_time = 7200 seconds (2 hours)
#tcp_keepalive_probes = 9
#tcp_keepalive_intvl = 75 seconds
#意思是如果某个TCP连接在idle 2个小时后,内核才发起probe.如果probe 9次(每次75秒)不成功,内核才彻底放弃,认为该连接已失效
#对服务器而言,显然上述值太大.可调整到:
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl = 30

#表示开启SYN Cookies,当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭
net.ipv4.tcp_syncookies = 1

#表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间
net.ipv4.tcp_fin_timeout = 30

#表示开启重用,允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭
#net.ipv4.tcp_tw_reuse = 1

#表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭
#net.ipv4.tcp_tw_recycle = 1

#表示系统同时保持TIME_WAIT套接字的最大数量,如果超过这个数字,TIME_WAIT套接字将立刻被清除并打印警告信息
#默认为180000,建议使用默认值,不建议调小
#net.ipv4.tcp_max_tw_buckets = 180000

#其它的一些设置
net.ipv4.route.gc_timeout = 100
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2

保存退出:
2 #sudo /sbin/sysctl -p

***************************************************************************************

http://www.linuxidc.com/Linux/2007-08/6995.htm

Linux进行性能优化。
1)   Linux Proc文件系统，通过对Proc文件系统进行调整，达到性能优化的目的。
2)   Linux性能诊断工具，介绍如何使用Linux自带的诊断工具进行性能诊断。

1)     /proc/sys/kernel/ctrl-alt-del