1.性能Py3.0运行 pystone benchmark的速度比Py2.5慢30%。Guido认为Py3.0有极大的优化空间,在字符串和整形操作上可以取得很好的优化结果。Py3.1性能比Py2.5慢15%,还有很大的提升空间。2.编码Py3.X源码文件默认使用utf-8编码,这就使得以下代码是合法...
分类:
编程语言 时间:
2014-06-18 19:48:01
阅读次数:
284
这是一个web查找的根本程序,从命令行输入查找条件(开端的URL、处置url的最大数、要查找的字符串),它就会逐一对Internet上的URL进行实时查找,查找并输出匹配查找条件的页面。 这个程序的原型来自《java编程艺术》,为了非常好的剖析,站长去掉了其间的GUI有些,并稍作修改以适用jdk1....
分类:
编程语言 时间:
2014-06-18 16:22:03
阅读次数:
242
关键词: nutch今日来看看Nutch怎么Parse页面的:Nutch运用了两种Html parser东西(NekoHTML和TagSoup)来完成html的获取,这两种东西是可经过配置来选择的。当然你要自己完成Parser你还能够选择HTMLParser[根据visitor访问者形式一起也供给了...
分类:
其他好文 时间:
2014-06-18 15:28:46
阅读次数:
181
近来方案做个爬虫的小比如,后来想想干脆运用的全部一点,今后就作为是个工程笔记,忘掉的代码就可以再到这个工程里查查了。solr是个很不错的东西,直接用就OK。下一方案方案看看compass,是一个封装了LuceneAPI的一个结构,用起来有点类似Hibernate,值得学习一下~ 好了,先个我们共享一...
分类:
其他好文 时间:
2014-06-17 14:15:31
阅读次数:
193
本部分介绍两个:一、Python3.4.x下的pip二、Python2.7.x下的pip(我就不信了!我在Python2.7中就成功不了!)一、改用Python3.4.1之前用的是Python2.7.4,所以要装pip昨天晚上攻到2点安装pip,殊不知今天早晨用pip install virtual...
定向数据网络爬虫和搜索引擎项目设计(新闻数据抓取、分析、加工、检索)版本号: v 1.0.0 编写人: 张 文 豪 日 期: 2014年6月10日文档说明:这个文档还在编写之中,文章中很多写在“保留”二字的不是每月东西,而是没有写。虽然没有具体实现,但是我觉得我把我的经验和思考都写进去了。虽然对于读...
分类:
其他好文 时间:
2014-06-15 08:25:48
阅读次数:
399
#!/usr/bin/env python# -*- coding: utf-8 -*-############################################## File : requestAnyURLWithCookie.py# Author : luc...
分类:
Web程序 时间:
2014-06-15 00:33:30
阅读次数:
187
#!/usr/bin/env python# -*- coding: utf-8 -*-############################################## File : loginMMVOIP.py# Author : lucasysfeng# Re...
分类:
Web程序 时间:
2014-06-15 00:18:13
阅读次数:
245
有个视频专门讲过这个爬虫,但是太罗嗦了,顺便整理下,而且到现在,360也不傻,已经进化了,采用原来的方式,多少有点bug,这个后面会说。正题如下:
语言:python2.7.6
模块:urllib,urllib2,re,time
目标:输入任意词,抓到其联想词
版本:w1
原理:在360搜索主页:http://www.so.com/,当你输入”科技“时,搜索框会列出相应的联想词或者短...
分类:
编程语言 时间:
2014-06-14 09:11:06
阅读次数:
1111