OJ升级,代码可能会丢失. 所以要事先备份. 一开始傻傻的复制粘贴, 后来实在不能忍, 得益于大潇的启发和聪神的原始代码, 网页爬虫走起!
已经有段时间没看Python, 这次网页爬虫的原始代码是 python2.7版本, 试了一下修改到3.0版本, 要做很多包的更替,感觉比较烦,所以索性就在这个2.7版本上完善了.
首先观赏一下原始代码,我给加了一些注释:
# -*-...
分类:
编程语言 时间:
2014-05-15 02:39:45
阅读次数:
439
为Python添加默认模块搜索路径
方法一:函数添加
1) import sys
2) 查看sys.path
3) 添加sys.path.append("c:\\")
方法二:修改环境变量
windows用户可以修改系统环境变量PYTHONPATH
方法三:增加.pth文件,推荐!
在site-packages添加一个路径文件,如mypkpath.pth,必须以...
分类:
编程语言 时间:
2014-05-14 21:21:27
阅读次数:
419
1关于greenletgreelet指的是使用一个任务调度器和一些生成器或者协程实现协作式用户空间多线程的一种伪并发机制,即所谓的微线程。greelet机制的主要思想是:生成器函数或者协程函数中的yield语句挂起函数的执行,直到稍后使用next()或send()操作进行恢复为止。可以使用一个调..
分类:
其他好文 时间:
2014-05-14 19:09:00
阅读次数:
427
缘由:由于办公电脑配置过低,安装win7每天系统蓝屏,重启无数次,出于对设备的最大化利用,所以就换成了Ubuntu,刚装上系统,感觉还不错,唯独那丑陋的输入法用着真心让人崩溃,果断删除iBus然后安装Fcitx,谁曾想由此引发了系统崩溃。。。系统及软件版本相关问题:1、卸载iBus之..
分类:
其他好文 时间:
2014-05-14 18:37:11
阅读次数:
434
最近工作很不顺心,也在看python,所以没有坚持写笔记,今天就更新一点笔记,metasploit支持的数据库有2种,一种是PostgreSQL,还有一个是大家熟悉的MySQL,其实MySQL我都不熟悉,我只用过orcalMMSQL还有accsess数据库,至于PostgreSQL,我之前都没听过,好了,这个无所谓,除..
分类:
数据库 时间:
2014-05-14 18:28:04
阅读次数:
496
用python做数据统计分析时,原始日志文件中用户访问的时间不对,需要往后延8小时,记录一下:>>>importdatetime
>>>pageTime=‘2014-05-1116:44:12‘
>>>pageTime
‘2014-05-1116:44:12‘1.把pageTime字符串类型转换成datetime时间类型:>>>dt..
分类:
编程语言 时间:
2014-05-14 17:18:15
阅读次数:
405
大部分数据库都提供了窗口函数,比如RANK,ROW_NUMBER等等。MySQL这方面没有直接提供,但是可以变相的实现,我以前写了row_number的实现,今天有时间把rank的实现贴出来。这里,我用MySQL以及Python分别实现了rank窗口函数。原始表信息:t_girl=#\dgroup_concat;
Table"ytt.grou..
分类:
数据库 时间:
2014-05-14 17:04:57
阅读次数:
442
对于很多新手,当然我也是新手,在命令行里学习python的时候占满了屏幕,很不习惯,特别是使用linux习惯了,使用clear清屏,这样的感觉非常好,但是python下面没有这样的命令和功能,下面为了解决这个问题,本人写了个简单的模块1先来看下没有清屏的结果[root@zh~]#python
Pyth..
分类:
编程语言 时间:
2014-05-14 16:04:24
阅读次数:
1320
QtCreator版本为2.7.0。Qt库版本为4.8.4。MinGW版本为4.40。此版本的QtCreator的Qt调试助手改用了python,而mingw自带的gdb不支持python,所以需要支持python的gdb,才能使用Qt调试助手。1、下载支持python的gbd。支持python的gbd的下载路径如下:http://qt-project.org/wiki/Q..
分类:
其他好文 时间:
2014-05-14 15:55:07
阅读次数:
409