Scrapy是一个用python实现都爬虫框架,简单易用,功能强大,只需要在框架的基础上自定义自己的分析规则即可,具体如何新建工程等待都在官方文档上面讲解得非常清楚,官方文档tutorial(http://doc.scrapy.org/en/latest/intro/tutorial.html).....
分类:
编程语言 时间:
2014-07-22 22:50:15
阅读次数:
307
with语句支持在一个叫上下文管理器的对象的控制下执行一系列语句,语法大概如下:with context as var: statements其中的context必须是个上下文管理器,它实现了两个方法__enter__,__exit__。1.需求是怎么产生的在正常的管理各种系统资源(文件、锁定...
分类:
编程语言 时间:
2014-07-20 10:17:16
阅读次数:
267
myfunc=wrapper(myfunc)是一种很常见的修改其它函数的方法。从python2.4开始,可以在定义myfunc的def语句之前写@wrapper。这些封装函数就被称为装饰器Decorator,其主要用途是包装另一个函数或类。这种包装的首要目的是透明的修改或增强被包装对象的行为。1.基...
分类:
编程语言 时间:
2014-07-20 09:20:11
阅读次数:
300
在python的官方文档中:getattr()的解释如下:getattr(object,name[,default])Return the value of the named attribute ofobject.namemust be a string. If the string is the...
分类:
编程语言 时间:
2014-07-20 09:01:37
阅读次数:
228
Linux内核更新超级频繁,但是有必要时刻升级吗?个人感觉没有必要,但是你要时刻关注新特性列表,然后把自己的内核升级到离最新版本差一两个
月发布的版本而不是最新版本,以保证稳定性,因为一两个月的时间足够多的慧眼会发现足够多的问题,既然自己不是Alan
Cox那个梯队的大..
分类:
系统相关 时间:
2014-07-20 03:31:36
阅读次数:
248
当我们一个团队开发一个项目的时候,需要的Python第三方包基本是固定的,每次搭建新环境的时候总是因为各种内外网,https问题花费大量的时间来安装运行环境。所以搭建一个本地的,小巧的,只包含需要的package的源,或者cache都行,对于搭建环境可以节省很多时间。这里使用的是..
分类:
其他好文 时间:
2014-07-20 00:41:51
阅读次数:
780
今天想用python写一个登陆的脚本,搜了一下,网上挺多的,看了一些后写了个登陆虎扑论坛的脚本.原理:只要在发送http请求时,带上含有正常登陆的cookie就可以了。1.首先我们要先了解cookie的工作原理。Cookie是由服务器端生成,发送给User-Agent(一般是浏览器),浏览器会将Co...
分类:
编程语言 时间:
2014-07-20 00:28:13
阅读次数:
234
You are given an n x n 2D matrix representing an image.
Rotate the image by 90 degrees (clockwise).
Follow up:
Could you do this in-place?...
分类:
编程语言 时间:
2014-07-19 23:46:49
阅读次数:
516
当我们一个团队开发一个项目的时候,需要的Python第三方包基本是固定的,每次搭建新环境的时候总是因为各种内外网,https问题花费大量的时间来安装运行环境。 所以搭建一个本地的,小巧的,只包含需要的package的源,或者cache都行,对于搭建环境可以节省很多时间。
这里使用的是pip2pi,可以指定一个下载源,pypi官方或者是国内的都行,把需要包同步到本地然后在本地搭建一...
分类:
其他好文 时间:
2014-07-19 23:17:49
阅读次数:
351
Celery最佳实践
orangleliu 翻译 原文点击查看
如果你的工作和 Django 相关, 并且有时候需要执行一些长时间的后台任务。可能你已经使用了某种任务队列,Celery就是Python(和Django)世界中时下解决类似问题最受欢迎的项目。
当在某些项目使用Celery作为任务队列之后,我总结了一些最佳实践,决定把它们些下来。然而,这里也有一些对自己应该做的却...
分类:
其他好文 时间:
2014-07-19 23:17:08
阅读次数:
276