一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u ...
分类：
Web程序 时间：
2018-10-29 20:41:59
阅读次数：
197
什么是urllib模块： urllib是python提供的一个用操作url的模块，在Python2.X中，有urllib库，也有urllib2，在python3.X中urllib2合并到了urllib中。包括以下模块： urllib.request 请求模块 urllib.error 异常处理模块 ...
分类：
Web程序 时间：
2018-10-28 18:07:01
阅读次数：
220
Requests Requests模块 Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能。 在上一篇我们已经使用urllib模块 而Requests会比urllib更加方便，可以节约我们大 ...
分类：
其他好文 时间：
2018-10-15 20:41:47
阅读次数：
651
Python3：urllib模块的使用1.基本方法 直接用urllib.request模块的urlopen()获取页面，page的数据格式为bytes类型，需要decode*()解码，转换成str类型。 2.使用Request urllib.request.Request(url, data=Non ...
分类：
编程语言 时间：
2018-09-30 12:46:02
阅读次数：
157
urllib模块中的方法 1.urllib.urlopen(url[,data[,proxies]]) 打开一个url的方法，返回一个文件对象，然后可以进行类似文件对象的操作。本例试着打开google urlopen返回对象提供方法： - read() , readline() ,readlines ...
分类：
编程语言 时间：
2018-09-01 12:26:21
阅读次数：
115
多文件抽取有：只获取url，或直接下载，下面是怎么将数据下载下来，并显示进度。 本节主要介绍urllib模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地，函数模型： urlretrieve(url, filename None, reporthook= ...
分类：
编程语言 时间：
2018-08-23 02:26:34
阅读次数：
344
问题：使用requests模块进行数据请求时，params中的数据中包含有%时，在生成的url链接中该参数值出错，导致请求码401 原因：请求发出后，在解析url和params时，urllib模块中会通过self._encode_params对params进行处理，最后追加所有参数的时候，使用了qu ...
分类：
其他好文 时间：
2018-08-03 14:36:01
阅读次数：
165
f = request.urlopen(url)f.status 获取status， f.reason获取状态码 f.getheaders()获取请求头（键值对）f.read()获取所有内容f.read().decode('utf8')设置编码 f.add_header(）模拟请求头f.urlret... ...
分类：
Web程序 时间：
2018-07-09 19:49:06
阅读次数：
257
1、urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)，将urlstring拆分成6个部分，含义如下图。返回的是一个子类的元组。 2、urllib.parse.urlunparse(parts)，与urlparse功能相 ...
分类：
Web程序 时间：
2018-07-06 21:35:01
阅读次数：
238
1、在python2和python3中的差异 在python2中，urllib和urllib2各有各自的功能，虽然urllib2是urllib的升级版，但是urllib2还是不能完全替代urllib，但是在python3中，全部封装成一个类，即urllib python2中urllib2和urlli ...
分类：
Web程序 时间：
2018-06-16 00:59:45
阅读次数：
179
