requests是python的一个HTTP客户端库,和urllib、urllib2类似,但是urllib2的api比较复杂,比如像实现一个post或是get功能都得需要一大堆代码。
今天先简单介绍一下这个库,等我看过官方文档之后,在写一个全面一点的。
# -*- coding:utf8 -*-
import request
r = requests.get('http://www.zh...
分类:
编程语言 时间:
2015-05-09 16:37:08
阅读次数:
168
一. 安装 Package Control 插件按Ctrl+`调出console,然后输入以下代码import urllib2,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();os.maked...
分类:
其他好文 时间:
2015-05-08 14:31:08
阅读次数:
108
#出处:http://mp.weixin.qq.com/s?__biz=MjM5NzU0MzU0Nw==&mid=201820961&idx=2&sn=b729466f334d64b2c36e05e65235fdd1#rd#获取html文档# import urllib,urllib2# url=u...
分类:
Web程序 时间:
2015-05-08 12:18:35
阅读次数:
112
使用Python访问网页主要有三种方式: urllib, urllib2, httpliburllib比较简单,功能相对也比较弱,httplib简单强大,但不支持session1. 最简单的页面访问(获取服务器端的Response包)res=urllib2.urlopen(url)print res...
分类:
编程语言 时间:
2015-05-03 01:56:14
阅读次数:
215
需要获取的页面:参考了此处,做了修改,代码如下: 1 #coding:utf-8 2 import urllib2 3 import urllib 4 import re 5 import sys 6 import os 7 import time 8 9 10 class Y...
分类:
其他好文 时间:
2015-05-01 23:48:11
阅读次数:
216
import urllib2import hashlibopener = urllib2.build_opener()req = opener.open("http://avatar.csdn.net/E/5/5/2_sdjtwenzhihao.jpg")meta = req.info()file_...
分类:
编程语言 时间:
2015-05-01 00:30:55
阅读次数:
134
Python开发中时长遇到要下载文件的情况,最常用的方法就是通过Http利用urllib或者urllib2模块。当然你也可以利用ftplib从ftp站点下载文件。此外Python还提供了另外一种方法requests。下面来看看三种方法是如何来下载zip文件的:方法一:import urllib im...
分类:
编程语言 时间:
2015-05-01 00:27:20
阅读次数:
148
原本想升一下级,用一下creep神马的,但是正则今天突然出了点小问题,我就生气了,就用正则抓取了一下。
这个正则可以用re.search 或者 re.findall都可以,我比较喜欢用search因为可以直接提取结果不用在过滤了。
代码如下,这个小爬爬比较简单。
#-*- coding:utf-8 -*-
import urllib2
import json
import re
Sear...
分类:
编程语言 时间:
2015-04-30 08:55:26
阅读次数:
170
最近想上手Python。快速入门一门语言的方法就是写个小Demo。Python Demo必须是爬虫了。第一个小爬虫程序有些简陋,高手勿喷。关于爬虫主要分为三个部分:根据队列中的URL爬取界面、获取内容、保存结果。程序是以百度网站大全为种子URL,抓取页面中URL依次放入队列中,爬虫从URL队列依次取得新URL继续向外爬取。# -*- coding: utf-8 -*-
import urllib2...
分类:
编程语言 时间:
2015-04-29 21:47:24
阅读次数:
154
urllib和urllib2都是处理url请求的两个模块,但是相互之间存在不同,不能相互取代urllib2可以接受一个Reuqest类的实例来设置URL请求的headers,urllib仅可以接受URL。意味着urllib不可以伪装你的user_agent等urllib提供urlencode方法用来...
分类:
编程语言 时间:
2015-04-28 13:43:54
阅读次数:
132