码迷,mamicode.com
首页 > 编程语言 > 详细

python爬虫 模拟登陆校园网-初级

时间:2017-04-21 23:55:53      阅读:394      评论:0      收藏:0      [点我收藏+]

标签:str   ini   notepad++   校园网   技术分享   xmlhttp   ges   cat   需要   

最近跟同学学习爬虫的时候看到网上有个帖子,好像是山大校园网不稳定,用py做了个模拟登陆很有趣,于是我走上了一条不归路.....

先上一张校园网截图

技术分享

 

首先弄清一下模拟登陆的原理:

1:服务器判定浏览器登录使用浏览器标识,需要模拟登陆

2: 需要post账号,密码,以及学校id

 

python走起,我用的2.7版本,用notepad++写的,绑定python可以直接运行

技术分享

 

由于是模拟网页登陆,需要导入urllib urllib2 cookielib库,前两个有与网页直接的接口,cookielib就是用来处理cookie的

先了解一下这几个库函数 一片不错的博客

http://www.cnblogs.com/mmix2009/p/3226775.html

 

ok,开始构建一个opener

cookie=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

用urllib2.HTTOCookieProcessor处理CookieJar获得的cookie,并被build_opener处理

然后构建一下需要post的header,这个地址并不是我们输入账号密码的地址,而是提交数据被处理的地址,在登陆的时候用浏览器抓一下:

 

技术分享

 

嗯 就是右边的那个URL,我们最后提交的网址就是那个。我们看一下他的header

技术分享

差不多就这些,可以都写上,也可以只写服务器验证的UA等等

需要提交的数据:

data={
         "username":"xxxxxxxx",
      "password":"xxxxx",
      
     }
post_data=urllib.urlencode(data)

 

然后就是post了,使用Requset(url,post_data,header)

req=urllib2.Request(‘http://139.198.3.98/sdjd/userAction!login.action‘,post_data,headers)
content=opener.open(req)

再open(req)放到content里,print一下试试是否成功。

然后.....然后发现失败了找找bug.....

技术分享

 

因为是学习的网上的,那个简单的例子只有用户名和密码,而这个登陆还要选择大学.......

好吧,那就先找下源码,结果没找到,就从header里找,果然在cookie里有个schoo id=XXXX,没错了,就是这个了,于是在data里再加上这个,结果提交了以后还是失败。最后发现提交的data里的userName,password,school_必须和request里的名称大小写下划线什么的要一致:

技术分享

 

最终代码(账号密码什么的用XXXX代替了):

import urllib
import urllib2
import cookielib

data={
      "userName":"xxxxxxxx",
      "password":"xxxxx",
      "school_id":"xxxx"
     }
post_data=urllib.urlencode(data)

cookie=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

headers={
          ‘Accept‘: ‘text/html, application/xhtml+xml, image/jxr, */*‘,
          ‘Accept-Encoding‘: ‘gzip, deflate‘,
          ‘Accept-Language‘: ‘en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3‘,
          ‘Connection‘: ‘Keep-Alive‘,
          ‘Host‘: ‘139.198.3.98‘,
          ‘Referer‘: ‘http://139.198.3.98/sdjd/protalAction!loginInit.action?wlanuserip=10.177.31.212&basip=124.128.40.39‘,
          ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393‘,    
          ‘X-Requested-With‘: ‘XMLHttpRequest‘
        }     

req=urllib2.Request(‘http://139.198.3.98/sdjd/userAction!login.action‘,post_data,headers)
content=opener.open(req)    
     
print content.read().decode("utf-8")

 

运行一下:

技术分享

初步success~以后在深一步研究

还有求dalao解答我从notepad++上用#注释没效果咋回事......

python爬虫 模拟登陆校园网-初级

标签:str   ini   notepad++   校园网   技术分享   xmlhttp   ges   cat   需要   

原文地址:http://www.cnblogs.com/Aiden-/p/6746495.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!