python爬虫(四)_urllib2库的基本使用 本篇我们将开始学习如何进行网页抓取，更多内容请参考:python学习指南 urllib2库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib2。 ...
分类：
编程语言 时间：
2018-12-18 00:02:01
阅读次数：
275
Requests：让HTTP服务人类 虽然Python的标准库中urllib2模块中已经包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不太好，而Requests自称"HTTP for Humans"，说明使用更简单方便。 Requests唯一的一个非转基因的Python HTTP库， ...
分类：
编程语言 时间：
2018-12-17 23:52:24
阅读次数：
262
本文将介绍handler处理器和自定义opener，更多内容请参考:python学习指南 opener和handleer 我们之前一直使用的是urllib2.urlopen(url)这种形式来打开网页，它是一个特殊的opener(也就是模块帮我们建好的)，opener是urllib2.OpenerD ...
分类：
编程语言 时间：
2018-12-17 23:49:09
阅读次数：
269
urllib2的异常错误处理 在我们用urlopen或opener.open方法发出一个请求时，如果urlopen或opener.open不能处理这个response，就产生错误。 这里主要说的是URLError和HTTPError,以及对它们的错误处理。 URLError URLError产生的原 ...
分类：
编程语言 时间：
2018-12-17 23:47:40
阅读次数：
208
首先准备工作： 如果你的Sublime Text3没有Package Control组件先看一下这里，如果以安装请忽略； 1、按Ctrl+`调出sublime text的console 2、粘贴以下代码到底部命令行并回车： import urllib2,os;pf='Package Control. ...
分类：
其他好文 时间：
2018-12-17 20:22:09
阅读次数：
174
#urllib是Python中内置的发送网络请求的一个库(包)，在Python2中由urllib和urllib2两个库来实现请求的发送，但是在Python中已经不存在urllib2这个库了，已经将urllib和urllib2合并为urllib。#urllib是一个库(包)，request是urlli ...
分类：
Web程序 时间：
2018-12-10 15:49:43
阅读次数：
289
需要引入的包 urllib、urllib2（urllib 和urllib2都是接受URL请求的相关模块，但是提供了不同的功能。） time random hashlib（提供了常见的摘要算法，如MD5，SHA1等等） hmac（使用hmac实现带key的哈希） base64（Base64是一种用64 ...
分类：
其他好文 时间：
2018-12-06 01:33:06
阅读次数：
204
一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u ...
分类：
Web程序 时间：
2018-12-03 15:26:25
阅读次数：
139
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib ...
分类：
编程语言 时间：
2018-12-03 12:49:44
阅读次数：
233
爬虫简介 什么是爬虫？ 爬虫：就是抓取网页数据的程序。 HTTP和HTTPS HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfer Protocol over Secure S ...
分类：
Web程序 时间：
2018-12-01 23:27:31
阅读次数：
208
