在高性能爬虫为什么使用定制DNS客户端一文中阐述了DNS解析是网络爬虫的瓶颈。目前主要有两种方法来提高DNS解析效率:1. 基于多线程的DNS 解析2.
基于NIO的DNS解析dnsjava中使用的解析方式就是基于多线程的DNS解析class ResolveThread extends Thread...
分类:
其他好文 时间:
2014-05-04 11:15:14
阅读次数:
300
paip.提升性能3倍--使用栈跟VirtualAlloc代替堆的使用.
#----为什么要设计堆栈,它有什么独特的用途?
为了性能 .... 堆比栈的性能
也有的说法为了编程容易...这个是错误的.因为使用堆+func也能实现编程简单地..
#----为什么stack 比堆快,stackAccess 要快两到三倍
主要的2点:: 使用堆额外的操作多,而且机器硬件上直接支...
分类:
其他好文 时间:
2014-05-04 00:25:28
阅读次数:
269
简介LNMMP=Linux+Nginx+MySQL+Memcache+PHP;利用Nginx的高性能特点做前端反向代理服务器,分发用户请求,并在能够利用缓存的地方使用Memcache缓存服务,以加速缓存效率,具体架构图如下;具体部署代理层:Nginx编译安装Nginxyum
install gcc ...
分类:
其他好文 时间:
2014-05-03 22:48:02
阅读次数:
688
从这个小案例我学到了不少知识。这些无论如何无法从书里得来。正所谓实践出真知,学习编程需要大量实践这句话永不过时。首先:好的代码和坏的代码带来的性能上的差异很明显。好的策略可以让你的程序运行速度大大加快。而差的代码则能让你的程序直接卡死。这是我写的递归填充TreeView:
privat...
分类:
数据库 时间:
2014-05-03 22:14:34
阅读次数:
401
在我刚入职时候,部门的组织架构还是分功能测试组和自动化组,每个组的负责人都向CTO汇报,功能测试组都是做纯功能测试的,而自动化组包括测试环境的搭建维护,自动化框架开发,自动化用例编写及性能测试,当然不同的负责人之间的知识共享也并不是很多,所以也就造成了功能测试组对技术研究的并不是很多,多专注于业务相关的技术上,自动化及性能相关的也多是停留在知识分享及培训上,也许个别同学有下来自己研究并尝试实践,但...
分类:
其他好文 时间:
2014-05-03 21:59:34
阅读次数:
311
缘起
线上有Tomcat升级到7.0.52版,然后有应用的JVM FullGC变频繁,在高峰期socket连接数,Cpu使用率都暴增。
思路
思路是Tomcat本身的代码应该是没有问题的,有问题的可能是应用代码升级,或者环境改变了,总之Tomcat的优先级排在最后。
先把应用的heap dump下来分析下:
jmap -dump:format=b,file=path pid
用IB...
分类:
其他好文 时间:
2014-05-03 21:42:36
阅读次数:
382
1. IS NULL 与 IS NOT NULL
不能用null作索引,任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下,只要这些列中有一列含有null,该列就会从索引中排除。也就是说如果某列存在空值,即使对该列建索引也不会提高性能。
任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。
2. 避免使用不兼容的数据类型。...
分类:
其他好文 时间:
2014-05-03 21:15:26
阅读次数:
264
一、概述:
Yarn调度器有许多实现,如Fifo, Capacity和Fair schedulers等。与其同时,正在进行一些优化措施来提高调度器在不同负载和工作场景下的性能。每个调度器都有自己的特性,调度决策受许多因素影响,如公平行、计算能力保证和资源的可靠性等。在部署一个调度算法到生产集群之前,评估一个调度算法是非常重要的,不幸的是,评估一个调度算法是不那么容易的,评估一个真正的集群是非常耗...
分类:
其他好文 时间:
2014-05-03 21:00:00
阅读次数:
443
[ 需求分析 ]
在我们实际开发中常常会遇到这样的问题:记录一个类的方法运行时间,以分析性能。一般我们的做法是先在类的开始记录一个开始时间,然后在类的结束记录一个结束时间,二者相减就可以获取我们想要的结果。但是很多时候这些类已经打了jar包,我们无法直接修改源码,这个时候我们应该怎么办呢?...
分类:
其他好文 时间:
2014-05-03 15:54:47
阅读次数:
377
一、memcached简介Memcached是一款开源、高性能、分布式内存对象缓存系统,可应用各种需要缓存的场景,其主要目的是通过降低对Database的访问来加速web应用程序。它是一个基于内存的“键值对”存储,用于存储数据库调用、API调用或页面引用结果的直接数据,如字符串、对象等。m..
分类:
其他好文 时间:
2014-05-03 15:12:31
阅读次数:
304