#coding=utf-8 #urllib模块提供了读取Web页面数据的接口 import urllib #re模块主要包含了正则表达式 import re #定义一个getHtml()函数 def getHtml(url): page = urllib.urlopen(url) #urllib.u... ...
分类:
其他好文 时间:
2017-04-08 23:45:18
阅读次数:
236
urllib.request 1、定义 用于打开URL的可扩展库,定义了基本和摘要式身份验证、重定向、cookies等应用中打开URL(主要是HTTP)的函数和类。 2、函数 urllib.request.urlopen(url,data=None,url, data=None) url:网址 da ...
分类:
Web程序 时间:
2017-04-05 23:17:29
阅读次数:
187
1 urllib2是非常强大的Python网络资源访问模块,它的功能和urllib模块相似 python标准库中的urllib2模块可以说是urlib模块的一个升级的复杂版,不需要另外下载, 比如访问的网络资源需要http验证, 需要cookie信息, 模仿普通浏览器一样去访问网络,网页资源 这个时 ...
分类:
Web程序 时间:
2017-03-12 19:27:32
阅读次数:
176
1.urllib.urlopen(url[,data[,proxies]]) 打开一个url的方法,返回一个文件对象,然后可以进行类似文件对象的操作。本例试着打开google 1 #coding:UTF8 2 3 import urllib 4 response = urllib.urlopen(" ...
分类:
编程语言 时间:
2017-02-17 11:09:25
阅读次数:
1475
一、最简单的使用 import urllib,urllib2 response = urllib2.urlopen("https://www.baidu.com") print response.read() 二、构造Request对象 request = urllib2.Request("http ...
分类:
Web程序 时间:
2017-02-06 14:37:13
阅读次数:
221
import urllib#调用urllib模块 import re#调用正则模块 def getHtml(url): if url is None:#如果url为空的话直接return return html=urllib.urlopen(url)#使用urllib.urlopen打开网页 if ... ...
分类:
其他好文 时间:
2017-01-11 08:18:58
阅读次数:
320
最近这几天,学习了一下python,对于爬虫比较感兴趣,就做了一个简单的爬虫项目,使用Python的库Tkinsert做了一个界面,感觉这个库使用起来还是挺方便的,这个程序中使用到了正则表达式(re模块),对爬回的网页进行匹配分析,最后通过urllib模块中urlretrieve()这个方法进行视频 ...
分类:
编程语言 时间:
2016-12-29 08:01:15
阅读次数:
243
#coding=utf-8 #urllib模块提供了读取Web页面数据的接口import urllib#re模块主要包含了正则表达式import re#定义一个getHtml()函数def getHtml(url): page = urllib.urlopen(url) #urllib.urlope ...
分类:
其他好文 时间:
2016-12-05 16:47:15
阅读次数:
122
urllib模块中的方法 1.urllib.urlopen(url[,data[,proxies]]) 打开一个url的方法,返回一个文件对象,然后可以进行类似文件对象的操作。本例试着打开google urlopen返回对象提供方法: - read() , readline() ,readlines ...
分类:
Web程序 时间:
2016-11-22 23:22:49
阅读次数:
232
urllib模块只能用get urllib2模块既有get也有post 网址url = urllib2.urlopen(‘ ‘)有data表示post请求 urllib2模块 request请求是反爬虫 add—header中要写成字典的形式,用逗号隔开,单引号引起两部分的内容 ...
分类:
其他好文 时间:
2016-11-10 09:46:32
阅读次数:
364