码迷,mamicode.com
首页 > 其他好文 > 详细

自学爬虫(二)

时间:2020-01-08 10:34:45      阅读:85      评论:0      收藏:0      [点我收藏+]

标签:ade   pos   value   query   一个   exe   练习   mic   color   

POST请求练习

通过爬取课程成绩我发现所有的班级名也可以爬取,只是需要提交一个表单,它长这样

技术图片

 

 

既然知道了表单的内容,那我们可以通过urllib.parse.urlencode()方法把它封装到data里面去,访问的时候直接一起丢过去就可以了

page=1#可以自己写 
data={
‘param_value‘:‘100020‘,
‘executiveEducationPlanNum‘ :‘2019-2020-2-1‘,
‘yearNum‘:‘‘,
‘departmentNum‘ :‘‘,
‘subjectNum‘:‘‘,
‘classNum‘:‘‘,
‘pageNum‘:page,
‘pageSize‘:‘10‘,
}
  query_string = urllib.parse.urlencode(data).encode()


    request = urllib.request.Request(url=url,headers=headers,data=query_string)

    response = urllib.request.urlopen(request).read().decode()

这样就能得到全校班级的json格式了

技术图片

自学爬虫(二)

标签:ade   pos   value   query   一个   exe   练习   mic   color   

原文地址:https://www.cnblogs.com/hongweijiang/p/12164923.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!