1.urllib2简介urllib2的是爬取URL（统一资源定位器）的Python模块。它提供了一个非常简单的接口，使用urlopen函数。它能够使用多种不同的协议来爬取URL。它还提供了一个稍微复杂的接口，用于处理常见的情况 - 如基本身份验证，cookies，代理等。2.抓取URLs使用urli...
分类：
编程语言 时间：
2015-10-13 22:28:04
阅读次数：
527
Python2.7里内置了很多非常有用的库，它在我电脑上的位置在/usr/lib/python2.7中。写个基本的爬虫要用到的库有urllib、urllib2、cookielib、sgmllib和re，下面先分别简单介绍下一些文件的信息和相关函数——具体的真的是建议阅读源码，网上找的资料反而不及它直...
分类：
编程语言 时间：
2015-10-08 00:27:20
阅读次数：
306
requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的：python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。我也看了下req...
分类：
编程语言 时间：
2015-10-06 22:15:52
阅读次数：
311
仅仅列出我用到的，不全。划重点： 1. urllib2 用 urllib.request 代替 2. urllib.urlencode 用 urllib.parse.urlencode 代替 3. cookielib 用 http.cookiejar 代替 4. print " " 用 pr...
分类：
编程语言 时间：
2015-10-04 18:24:01
阅读次数：
415
新版python中，urllib和urllib2合并了，统一为urllib(1)简单爬取网页import urllibcontent = urllib.request.urlopen(req).read().decode("utf-8")(2)添加headerimport urllibreq = u...
分类：
编程语言 时间：
2015-10-03 14:20:07
阅读次数：
216
以第一ppt网站为例：http://www.1ppt.com/ from pyspider.libs.base_handler import * import urllib2,HTMLParser,re import urllib2,HTMLParser,re #根url host = "http:...
分类：
其他好文 时间：
2015-09-30 16:21:06
阅读次数：
2037
example: http://xyzp.haitou.cc/article/722427.html首先是直接下载好每个页面，可以使用 os.system( "wget "+str(url)) 或者urllib2.urlopen(url) ，很简单不赘述。然后，重头戏，进行信息抽取：#!/usr/....
分类：
数据库 时间：
2015-09-29 18:47:43
阅读次数：
190
转自：http://zeping.blog.51cto.com/6140112/1143722urllib和urllib2都是接受URL请求的相关模块，但是提供了不同的功能。urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。urllib：网页基础：importu...
分类：
编程语言 时间：
2015-09-29 11:23:18
阅读次数：
264
[此文原先在论坛上，后来整理文章时从论坛更新到博客上]实验环境：dvwa1.7python2.7关于怎么搭建环境，我们可以看之前的这篇帖子。目的:一点、一点的开始学习用python编写脚本熟悉python的urllib、urllib2这两个模块，并且开始写出一个可以暴力破解的脚本这里我们先来看一下，p..
分类：
编程语言 时间：
2015-09-28 19:22:27
阅读次数：
316
之前见过别人写的抓取图片的python脚本，自己之前用正则写过，最近看到beautifulsoup所以拿来练练手#-*-coding:utf8-*-
frombs4importBeautifulSoup
importos,sys,urllib2,time,random
path=os.getcwd()
new_path=os.path.join(path,u‘sexy‘)
ifnotos.path.isdir(new_path):
o..
分类：
编程语言 时间：
2015-09-28 19:08:13
阅读次数：
189
