之前使用scrapy实现了一个超级简单的爬虫工具,用于抓取豆瓣上面所有的编程书籍信息(由于不需要爬取整个页面的所以链接,所以不需要用到BFS or DFS,只实现顺序抓取下一页) 这次使用的是python自带的urllib 和urllib2等python模块实现,同样以豆瓣上面的爱情电影信息作...
分类:
编程语言 时间:
2014-07-22 22:47:35
阅读次数:
347
#coding=utf-8import win32com.clientclsid='{9BA05972-F6A8-11CF-A442-00A0C90A8F39}'ShellWindows=win32com.client.Dispatch(clsid)for i in range(ShellWindo...
分类:
编程语言 时间:
2014-07-22 22:45:34
阅读次数:
218
1、使用正则表达式进行URL匹配urlpatterns = patterns('', # ... (r'^time/plus/\d+/$', hours_ahead), # ...)(1)使用r代表字符串是原始字符串,表示python不会对立面的反斜杠\转义符进行处理,使用正则表达...
分类:
编程语言 时间:
2014-07-22 22:45:15
阅读次数:
235
进入解释器python获得帮助help(函数名)退出帮助:q如何退出解释器提示符如果你使用的是 Linux/BSD shell ,那么按 Ctrl-d 退出提示符。如果是在 Windows 命令行中,则按 Ctrl-z 再按 Enter编译新建/打开py文件vim filename.py按i输入代码...
分类:
编程语言 时间:
2014-07-22 22:43:53
阅读次数:
320
用python连接zookeeper时,在终端里,一直会有zookeeper的日志冒出来,这样会很烦。2014-07-22 10:06:19,544:10474(0x7fd459406700):ZOO_WARN@zookeeper_interest@1557: Exceeded deadline b...
分类:
编程语言 时间:
2014-07-22 22:43:34
阅读次数:
1423
Python安装、配置图文详解目录: 一. Python简介二. 安装python1. 在windows下安装2. 在Linux下安装 三. 在windows下配置python集成开发环境(IDE)1. 在Eclipse中安装PyDev插件2. ...
分类:
编程语言 时间:
2014-07-22 22:43:33
阅读次数:
315
在python程序中调用shell命令,是件很酷且常用的事情……1. os.system(command) 此函数会启动子进程,在子进程中执行command,并返回command命令执行完毕后的退出状态,如果command有执行内容,会在标准输出显示。这实际上是使用C标准库函数system()实现的...
分类:
编程语言 时间:
2014-07-22 22:41:36
阅读次数:
271
需要使用urllib2库import urllib2def download(url, szFileName = ""): #szFileName:下载文件到的目标路径 if szFileName == "": szFileName = url[url.rfind('/') + ...
分类:
编程语言 时间:
2014-07-22 22:41:13
阅读次数:
249
一:搭建JStorm环境(三个机器组成的集群)1. 搭建Zookeeper集群2. 安装java1.7和python 2.6,因为JStorm是由大量的java和python编写。3. 安装JStorm-0.9.3.1。4. JStorm需要tomcat来展现UI,所以需要安装tomcat。二:写完TopK_on_JStorm的第一个版本(项目地址),整个项目提供一个简单的topk计算流程,由并发度为1的ScoreProduceSpout提供随机数数据(id,score),并发度为4的ComputeBolt...
分类:
Web程序 时间:
2014-07-22 14:47:04
阅读次数:
279