什么是urllib模块： urllib是python提供的一个用操作url的模块，在Python2.X中，有urllib库，也有urllib2，在python3.X中urllib2合并到了urllib中。包括以下模块： urllib.request 请求模块 urllib.error 异常处理模块 ...
分类：
Web程序 时间：
2018-10-28 18:07:01
阅读次数：
220
用python写爬虫时，有两个很好用第三方模块requests库和beautifulsoup库，简单学习了下模块用法： 1，requests模块 Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，使用起来较为麻烦。requests是基于Python开发的 ...
分类：
其他好文 时间：
2018-10-28 12:49:49
阅读次数：
149
经过8个小时的摸索，终于决定写下此随笔！ 初学爬虫，准备爬取百度美女吧的图片，爬取图片之后发现打不开，上代码： 后来发现是writeImage()的参数跟函数体中调用的参数不一致导致的， 1 def writeImage(link): 2 """ 3 作用：将HTML内容写入到本地 4 html：服 ...
分类：
Web程序 时间：
2018-10-24 20:25:05
阅读次数：
230
request说明 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Python HTTP 库， ...
分类：
其他好文 时间：
2018-10-19 00:20:56
阅读次数：
186
Requests Requests模块 Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能。 在上一篇我们已经使用urllib模块 而Requests会比urllib更加方便，可以节约我们大 ...
分类：
其他好文 时间：
2018-10-15 20:41:47
阅读次数：
651
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Py ...
分类：
其他好文 时间：
2018-10-13 10:55:06
阅读次数：
178
1.URLErrorimporturllib2ifname==‘main‘:url=‘http://www.567.com‘req=urllib2.Request(url)try:response=urllib2.urlopen(req)#printresponsehtml=response.read().decode(‘utf-8‘)printhtmlexcepturllib2.
分类：
编程语言 时间：
2018-10-12 19:28:43
阅读次数：
203
登录 目前新浪微博登录修改登录加密方法，使用rsa进行加密。 以下为个人实现登录的过程，不过得到cookie出现了问题，使用urllib2可以有效抓取 但是httplib2对cookie操作很恶心需要自己处理 终于搞定了用httplib2抓取新浪微博，不知道其他微博是否适用，，， 下面就是登录的介绍 ...
分类：
数据库 时间：
2018-10-06 22:34:23
阅读次数：
314
Python中可以用来爬取网络数据的库有很多，常见的有：urllib、urllib2、urllib3、requests、scrapy、selenium等。 基本上可以分为3类： 第一类：urllib、urllib2、urllib3、requests； 第二类：scrapy； 第三类：selenium ...
分类：
其他好文 时间：
2018-10-04 10:39:37
阅读次数：
207
如何使用以及常见方法补充 data = urllib2.urlopen(url).read().decode("gbk", "ignore").encode("utf8", "ignore") 获取远程 url的数据，创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程 ...
分类：
编程语言 时间：
2018-09-30 14:43:44
阅读次数：
165
