今天在用scrapy爬某个网站的数据,其中DOM解析我用的是BeautifulSoup,速度上没有XPath来得快,不过因为用了习惯了,所以一直用的bs,版本是bs4不过在爬取过程中遇到了一些问题,其中一个是Unicode转码问题,这也算是python中一个著名问题了。我遇到的算是Beautiful...
分类:
其他好文 时间:
2014-07-22 22:53:55
阅读次数:
229
1. 文件名查找
使用find查询时,由于磁盘查询,所以速度较慢,
所以linux下查询更常使用which, whereis, locate来查询,由于是利用数据库查询,所以速度很快。
2. which
我们常用的ls命令,如果我们想知道这些常用命令放在哪儿, 就使用which命令来查询地址。
which使用PATH 环境变量去查找文件名,...
分类:
系统相关 时间:
2014-07-19 18:34:19
阅读次数:
306
序言: 前面一节课讲解了Makefile的基础知识包括原理、预定义以及命令格式,这样是可以完成一个自动编译的文件,这些知识可以帮你完成。想想mak真是强大啊,可能有些同志发现了如果项目文件太多每个目标文件都要写指令有没有其它的简化来加快开发速度,提高项目的可维护性,答案当然是有的,这就是接下来的要....
分类:
其他好文 时间:
2014-07-19 14:20:38
阅读次数:
175
上个星期最终把csapp看完了。 我买的是中文版的,由于除了貌似评价不错以外,由于涉及到些自己不了解的底层东西,怕是看英文会云里雾里。如今看来,大概不能算是个长处,可是的确可以加快我的看书速度,否则一星期还真不大可能把这书搞定。对csapp慕名已久,主要在于据说这本书尽量的做到相对实用,不去讲那些和...
分类:
移动开发 时间:
2014-07-19 14:12:01
阅读次数:
226
滑雪
Time Limit: 1000MS
Memory Limit: 65536K
Total Submissions: 74996
Accepted: 27818
Description
Michael喜欢滑雪百这并不奇怪, 因为滑雪的确很刺激。可是为了获得速度,滑的区域必须向下倾斜,而且当你滑到坡底,你不得不再次走上坡或...
分类:
其他好文 时间:
2014-07-19 11:22:54
阅读次数:
182
这的确也是个大坑;其实在这是到很简单的最小生成树的题目,但是数据量却很大;用G++提交会超时,用C++不会超时,而且速度超快;又长见识了。可惜长得不是做题的能力,而是知道它到底有多坑。 1 #include 2 #include 3 using namespace std; 4 const int ...
分类:
其他好文 时间:
2014-07-19 11:17:24
阅读次数:
194
存储一直是企业降低运营成本的一项重大阻力,虽然近年来存储的成本一直在降低,但是企业数据量的增长速度却远远超过存储成本的降低速度,因此如何降低存储给企业带来的压力也是IT人员的一大考验在WindowsServer2012中微软带来了一项令人惊喜的功能,他的名字叫做重复数据删除,..
数学题。
题意是问你能不能逃脱。
当V1的 角速度大于 V2的时候,可以一直保持 V1,O(圆心),V2 三点一线。
跑到一定距离,角速度小于的时候,就以三点一线为初始状态直接跑直线。
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#...
分类:
其他好文 时间:
2014-07-19 02:36:55
阅读次数:
188
Apache优点:Apache的兼容性和稳定性都是非常强Apache的模块比Nginx/Lighttpd丰富Apache在处理动态请求比Nginx/Lighttpd更有优势缺点:属于重量级web服务器(重量级主要是在软件包的大小上比较大,软件的耦合度大)在速度、性能不及其他轻量级web服务器,并且消费内存较高。使..
分类:
Web程序 时间:
2014-07-19 02:22:37
阅读次数:
280
Memcached是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。环境:一台公网客户ip:202.106.0.20一台nginx代理服务器ip:192.168.1.11公网ip:202.106.0.1两..
分类:
其他好文 时间:
2014-07-19 02:11:37
阅读次数:
316