Requests函数库是学习Python爬虫必备之一, 能够帮助我们方便地爬取. 本文主要参考了其官方文档. Requests安装: requests目前的版本是v2.11.1, 在WINDOWS上可以通过命令行窗口(运行cmd命令), 利用pip进行自动地安装(很方便): 向网站发送请求:requ ...
分类:
编程语言 时间:
2016-10-26 19:14:04
阅读次数:
1479
在浏览器的验证窗口中输入登陆名和密码后,成功后会弹出一个小的新窗口,如果不小心关闭了这个窗口,则就会无法联网。如果说我在一个不带有桌面的Linux系统中,我是不能够通过浏览器接入网络的,虽然提供了不同系统的不同版本的客户端(没有用过),但是还是想自己做一个玩玩,同时依据上一篇博客中获取到的帐号进行尝 ...
分类:
编程语言 时间:
2016-10-24 23:47:23
阅读次数:
362
软院这边网速是挺不错的,而且在宿舍和实验室都是可以通过学号直接登陆的上网的,但是..有的时候实验室的台式机需要一个网号,笔记本需要一个网号,或者再加上一个路由器需要一个,然后,感觉网号托托的不够呀。刚开学分配网号的时候,每个人的密码都初始为同一个,嘿嘿。。。有些人其实懒得去改,或者是去了遥远的杭州, ...
分类:
编程语言 时间:
2016-10-23 20:55:03
阅读次数:
227
正则表达式中(.*?)是常用的匹配模式,匹配出了换行符以外的字符,是非贪婪模式,读取最少的匹配信息 在编译模式中是用re.S可以让(.*?)匹配任意字符,包括换行符。 try: except Exception, e: print e 捕获所有异常并打印异常信息 dir(),查看当前对象的所有可用方 ...
分类:
编程语言 时间:
2016-10-21 10:25:10
阅读次数:
168
httplib模块实现了HTTP和HTTPS的客户端部分,但是一般不直接使用,经常通过urllib来进行HTTP,HTTPS的相关操作。 如果需要查看其源代码可以通过查找命令定位: 整个请求过程的状态转移图如下所示: httplib提供如下的类: 1. httplib.HTTPConnection( ...
分类:
编程语言 时间:
2016-10-17 20:13:45
阅读次数:
271
Python应用现在如火如荼,应用范围很广。因其效率高开发迅速的优势,快速进入编程语言排行榜前几名。本系列文章致力于可以全面系统的介绍Python语言开发知识和相关知识总结。希望大家能够快速入门并学习Python这门语言。 本文是在前一部分Python基础之上Python实战:Python爬虫学习教 ...
分类:
编程语言 时间:
2016-10-07 22:50:36
阅读次数:
212
Python应用现在如火如荼,应用范围很广。因其效率高开发迅速的优势,快速进入编程语言排行榜前几名。本系列文章致力于可以全面系统的介绍Python语言开发知识和相关知识总结。希望大家能够快速入门并学习Python这门语言。 本文是在前一部分Python基础之上程序员带你十天快速入门Python,玩转 ...
分类:
编程语言 时间:
2016-10-07 22:44:41
阅读次数:
205
相信最开始接触Python爬虫学习的同学最初大多使用的是urllib,urllib2。在那之后接触到了第三方库requests,requests完全能满足各种http功能,真的是好用爆了 :D 他们是这样说的: “Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。 ...
分类:
编程语言 时间:
2016-08-27 12:38:53
阅读次数:
239
这是小白学习笔记....大神勿喷。 本次学习糗事百科的网络爬虫。 http://blog.csdn.net/pleasecallmewhy/article/details/8932310 因为那个糗事百科网页改版了,content类中已经没有title...所以源码也有所改动。 所以找到一个改进版的 ...
分类:
编程语言 时间:
2016-08-26 19:44:32
阅读次数:
260