Python爬虫基础 1.获取网页文本 通过urllib2包，根据url获取网页的html文本内容并返回 或者 再添加ua和超时时间： 添加header属性： 添加随机ua ...
分类：
编程语言 时间：
2018-02-11 12:28:17
阅读次数：
196
#coding=utf-8 import datetime import time import sys import os import urllib2 import urllib sx = '小说站网址' type = sys.getfilesystemencoding() user_agent... ...
分类：
编程语言 时间：
2018-02-10 11:25:39
阅读次数：
202
1、基本抓取网页 get方法 post方法 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP； 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3、Cookies处理 cookies是某些网站为了辨别用户身份、进行s ...
分类：
编程语言 时间：
2018-02-09 20:19:04
阅读次数：
174
目标：扒取京东的笔记本电脑的信息（商品名和商品价格） 通过浏览器的开发者工具查看源代码： 一、使用urllib2获得页面源代码 运行结果关键截图: 分析： urllib2得到的源代码和通过浏览器查看的源代码不尽相同，尤其是urllib2无法得到商品的价格 二、使用selenium的webdriver ...
分类：
Web程序 时间：
2018-02-05 23:17:13
阅读次数：
250
https://docs.python.org/2/library/urllib2.html 翻译 https://www.cnblogs.com/hester/p/5015993.html stringIO https://www.cnblogs.com/rainsoul/p/6265900.ht... ...
分类：
其他好文 时间：
2018-02-05 23:16:06
阅读次数：
180
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Py ...
分类：
其他好文 时间：
2018-02-04 18:12:40
阅读次数：
198
接下来，让我们真正迈向我们的爬虫之路吧！ urllib2库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib2。 urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用) ...
分类：
Web程序 时间：
2018-02-02 15:08:45
阅读次数：
244
python 3.X版本是不需要安装：urllib2包的，urllib和urllib2包集合成在一个包了 那现在问题是： 在python3.x版本中，如何使用：urllib2.urlopen()？ 答： import urllib.request resp=urllib.request.urlope ...
分类：
编程语言 时间：
2018-02-01 20:44:22
阅读次数：
291
1、SyntaxError: Non-ASCII character '\xe5' in file D:\eclipseworkspace\test\test_urllib2.py on line2 解决方案：在第一行添加 # coding=UTF-8 即可 2、 ...
分类：
编程语言 时间：
2018-01-29 11:24:19
阅读次数：
105
