reuqests库中有很多便捷的方法，比如以GET方式获得网页，在requests库中就是方法get（）,上代码 相当于urlopen的方法，得到一个Response对象，然后分别输出他的类型，状态码，相应体的类型，内容以及Cookies requests还有许多的方法比如post,put,dele ...
分类：
编程语言 时间：
2018-08-21 15:21:07
阅读次数：
158
最近入手学习Python3的网络爬虫开发方向，入手的教材是崔庆才的《python3网络爬虫开发实战》，作为温故所学的内容同时也是分享自己操作时的一些经验与困惑，所以开了这个日记，也算是监督自己去学习。在这一系列的日记中我也会随时加上一些书中没有的内容作为对所学知识的一个补充。 （1）使用urllib ...
分类：
编程语言 时间：
2018-08-19 13:59:57
阅读次数：
163
2.request 首先上实例 与之前一样生成了python官网的内容，但这次我们构造的是一个Request类，我们可以将请求独立成一个对象，也可以配置参数 class.urllib.request.Request(url , data = None , headers = {} , origin_ ...
分类：
编程语言 时间：
2018-08-19 13:59:47
阅读次数：
188
这一节我们主要讲解处理异常 在我们发送请求的时候，有的时候可能网络不好，出现了异常，程序因为报错而终止运行，为此我们需要对其进行处理 urllib里的error模块定义了request模块产生的异常，下面便介绍里面的函数： URLError 该类是继承自OSError类，是error异常模块的基类， ...
分类：
编程语言 时间：
2018-08-19 13:59:14
阅读次数：
170
恢复内容开始 python爬虫学习从0开始 第一次学习了python语法，迫不及待的来开始python的项目。首先接触了爬虫，是一个简单爬虫。个人感觉python非常简洁，相比起java或其他面向对象的编程语言，动态语言不需要声明函数或变量类型。python有20年的发展历史，以简洁高效闻名，pyt ...
分类：
编程语言 时间：
2018-08-13 00:42:02
阅读次数：
697
scrapy框架 scrapy是一套基于Twisted的异步处理框架，是纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松实现一个爬虫，用来抓取网页内容或者各种图片。 scrapy Engine:scrapy引擎 负责调度器，下载器，管道和爬虫之间的通讯信号和数据的传递，相当于交通站 ...
分类：
其他好文 时间：
2018-08-11 21:53:36
阅读次数：
171
声明：本脚本纯属娱乐， 禁止用来非法自动点赞拉票！！！ ____ 闲话： 明日之子第二季开始好久了，作者一直再追，特别喜欢里面那个酷酷的小哥 蔡泽明。前两天晋选9大厂牌，采取的是直播的形式，选手是否会晋级纯靠粉丝手动点赞，而且特别坑的一点是点1000次才算一个赞，当时作者就想可不可以写个脚本自动点赞 ...
分类：
编程语言 时间：
2018-08-10 23:13:57
阅读次数：
230
模块安装 安装requests模块 安装beautifulsoup4模块 [更多参考]https://blog.csdn.net/sunhuaqiang1/article/details/65936616 初识requests模块 【更多参考】http://www.cnblogs.com/wupei ...
分类：
编程语言 时间：
2018-08-04 19:05:22
阅读次数：
202
Scrapy Scrapy是一个框架，可以帮助我们进行创建项目，运行项目，可以帮我们下载，解析网页，同时支持cookies和自定义其他功能。 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更 ...
分类：
编程语言 时间：
2018-08-04 18:57:26
阅读次数：
194
爬虫学习--下载图片 1.主要用到了urllib和re库 2.利用urllib.urlopen()函数获得页面源代码 3.利用正则匹配图片类型,当然正则越准确，下载的越多 4.利用urllib.urlretrieve()下载图片，并且可以重新命名，利用%S 5.应该是运营商有所限制，所以未能下载全部... ...
分类：
编程语言 时间：
2018-07-29 11:55:07
阅读次数：
149
