一开始没发现3.5与2.x版本的区别，导致浪费了很多时间在导包等问题上： 如： Pyhton2中的urllib2工具包，在Python3中分拆成了urllib.request和urllib.error两个包。就导致找不到包，同时也没办法安装。 所以需要install urllib.request和i ...
分类：
编程语言 时间：
2016-10-22 12:13:22
阅读次数：
140
#Python爬取网页的三种方法之一:使用urllib或者urllib2模块的getparam方法importurllibfopen1=urllib.urlopen(‘http://www.baidu.com‘).info()fopen2=urllib2.urlopen(‘http://www.sina.com‘).info()printfopen1.getparam(‘charset‘)printfopen2.getparam(‘charset‘)#----有些..
分类：
编程语言 时间：
2016-10-22 01:09:26
阅读次数：
693
#!/bin/env python#-*- coding:utf-8 -*- import jsonimport timeimport socketimport osimport reimport sysimport commandsimport urllib2, base64 class Redi ...
分类：
编程语言 时间：
2016-10-20 00:05:48
阅读次数：
550
Python的urllib2是一个可以用来获取URLs的函数库. urllib2为我们提供了一个很基础的函数: urlopen, 来帮助我们通过给定的URL来获取网页数据(网页源代码) 读取的部分内容如下图所示: 再看下面的代码, 得到的结果和上面是相同的. HTTP基于请求-应答的机制. 由主机发 ...
分类：
Web程序 时间：
2016-10-17 11:17:44
阅读次数：
122
1、Requests模块说明 Requests 是使用 Apache2 Licensed 许可证的 HTTP 库。用 Python 编写，真正的为人类着想。 Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能，但是它的 API 太渣了。它是为另一个时代、另一个互联网 ...
分类：
编程语言 时间：
2016-10-16 07:30:48
阅读次数：
232
因为不想用urllib2了，没有用过splinter，今天就想试试，毕竟后者支持的功能更人性化/自动化。 1，安装splinter 安装过程很简单，安装了pip的话，执行： 安装过程中需要的依赖库会自动下载，无须担心。 2，安装Chromedriver 因为我需要chrome支持页面测试，所以需要安 ...
分类：
编程语言 时间：
2016-10-11 21:32:39
阅读次数：
171
Python 网络爬虫简单分析 我们下面开始分析代码 这里我们利用的是urllib2库中的urlopen方法，这里可以知道这是一个http协议的网址，urlopen一般接受三个参数，它的参数如下： 第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超 ...
分类：
编程语言 时间：
2016-10-09 13:01:56
阅读次数：
105
溜达豆瓣的时候，发现一些图片，懒得一个一个扒，之前写过c#和python版本的图片下载，因此拿之前的Python代码来改了改，折腾出一个豆瓣版本，方便各位使用 # -*- coding:utf8 -*- import urllib2, urllib, socket import re import ...
分类：
编程语言 时间：
2016-10-07 11:15:36
阅读次数：
215
URL管理器实现方式：1. 内存python内存待爬取URL集合：set()已爬取URL集合：set() 2. 关系数据库MySQLurls(url, is_crawled) 3. 缓存数据库（高性能，大公司存储）redis待爬取URL集合：set已爬取URL集合：set 网页下载器urllib2 ...
分类：
编程语言 时间：
2016-10-04 18:34:49
阅读次数：
178
原文链接：http://www.cnblogs.com/yuxc/ 作为一个Python菜鸟，之前一直懵懂于urllib和urllib2，以为2是1的升级版。今天看到老外写的一篇《Python: difference between urllib and urllib2》才明白其中的区别。 You ...
分类：
编程语言 时间：
2016-10-03 00:21:14
阅读次数：
228
