背景: 学校的网站可以根据学号查学生姓名和成绩,所以我希望通过Python的爬虫得到年级所有同学的学号与姓名对应表。 实现: 首先需要算出所有学生的学号以方便查询。接下来要把学号和考试场次包装成待会要填入的信息,这可以用urllib模块里的函数urlencode完成。之后要访问网站,先用urllib ...
分类:
编程语言 时间:
2016-10-16 16:31:52
阅读次数:
240
来源:http://www.jb51.net/article/42630.htm urllib模块 urlretrieve方法 urllib.urlretrieve(url[, filename[, reporthook[, data]]])参数说明:url:外部或者本地urlfilename:指定 ...
分类:
编程语言 时间:
2016-09-10 22:09:36
阅读次数:
160
查询城市天气最后一节 需要导入上一节的结果city10.py #!/usr/bin/python# -*- coding: UTF-8 -*-import urllib.requestfrom city10 import city #从city10.py里导入city变量名称import json ...
分类:
编程语言 时间:
2016-09-10 16:02:04
阅读次数:
127
承接将查询城市编码的结果保存到文件中,以字典的形式保存,目的是为了在查询某个城市的天气的时候,能够通过输入的城市名称,找到对应的城市编码。所以此结果字典的数据结构,就是city={城市名称:城市编码} so,可以这样编写: 当然,你可以打印出结果看看。 现在我们就需要将这个结果写到文件中去了。注意, ...
分类:
编程语言 时间:
2016-09-07 01:15:50
阅读次数:
203
上节内容,是得到了省/直辖市编码,如web='http://m.weather.com.cn/data5/city01',我们需要继续获取此接口的数据,于是进行下面的操作 for i in b: #i=b[0],b[1],b[2]。。。。。。 code=i.split('|')[0] web='ht ...
分类:
编程语言 时间:
2016-09-03 22:28:02
阅读次数:
139
接着上一次的内容。 先说明一下关于split()方法:它通过指定分隔符对字符串进行切片,如果参数num 有指定值,则仅分隔 num 个子字符串(把一个字符串分割成很多字符串组成的list列表) 语法:str.split(str="", num=string.count(str)). 参数:str 分 ...
分类:
编程语言 时间:
2016-09-02 00:23:42
阅读次数:
141
1.urllib urllib是Python标准库的一部分,包含urllib.request,urllib.error,urllib.parse,urlli.robotparser四个子模块。 (1)urllib.request用法 1)urlopen函数:用于打开一个URL(urlopen返回一个 ...
分类:
编程语言 时间:
2016-09-01 00:01:52
阅读次数:
227
1.urlopen()方法urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示远程数据的路径,一般是网址;参数data表示以post方式提交到url的数据(玩过web的人 ...
分类:
编程语言 时间:
2016-08-18 23:13:17
阅读次数:
228
python通过get方式,post方式发送http请求和接收http响应-- import urllib模块,urllib2模块, httplib模块 http://blog.163.com/xychenbaihu@yeah/blog/static/132229655201231085444250 ...
分类:
编程语言 时间:
2016-08-08 18:59:20
阅读次数:
188
直接将远程数据下载到本地 info: urllib.urlretrieve(url[, filename[, reporthook[, data]]])参数说明:url:外部或者本地urlfilename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);repo ...
分类:
Web程序 时间:
2016-06-21 17:05:26
阅读次数:
259