码迷,mamicode.com
首页 > Web开发 > 详细

动态网页爬取

时间:2016-11-15 08:18:25      阅读:403      评论:0      收藏:0      [点我收藏+]

标签:数组   except   script   encoding   打印   line   upd   浏览器   tin   

  四六级成绩查询网站我所知道的有两个:学信网(http://www.chsi.com.cn/cet/)和99宿舍(http://cet.99sushe.com/),这两个网站采用的都是动态网页。我使用的是学信网,好了,网站截图如下:

                                                        技术分享

网站的代码如下:

  1. 1 <form method="get" name="form1" id="form1" action="/cet/query">
  2. 2
  3. 3 <table border="0" align="center" cellpadding="0" cellspacing="0">
  4. 4 <tr><td align="right">准考证号:</td><td align="left"><input name="zkzh" value="112008000463141" id="zkzh" type="text" size="18" maxlength="15" class="input_text input_t_l" /></td>
  5. 5 <td align="left" class="font12 color666">请输入15位准考证号</td>
  6. 6 </tr>
  7. 7 <tr><td align="right">姓名:</td><td align="left"><input name="xm" value="啊啊" id="xm" type="text" size="18" maxlength="50" class="input_text input_t_l" /></td>
  8. 8 <td align="left" class="font12 color666">姓名超过3个字,可只输入前3</td>
  9. 9 </tr>
  10. 10
  11. 11 <tr><td align="center">&nbsp;</td>
  12. 12 <td colspan="2" align="left"><input type="submit" id="submitCET" class="btn_blue" value="查询" /></td>
  13. 13 </tr>
  14. 14 </table>
  15. 15 </form>

由图中可以看出表单提交的链接为/cet/query,即:http://www.chsi.com.cn/cet/query,好了,填写表单和结果如下:

     技术分享                     技术分享

 

但是,点击查看源代码之后发现,没有成绩,即代码仍是上面那个,之后按F12查看代码:

  1. 1 <TBODY><TR>
  2. 2 <TH>姓名:</TH>
  3. 3 <TD>XXXX</TD></TR>
  4. 4 <TR>
  5. 5 <TH>学校:</TH>
  6. 6 <TD>XXXXXX</TD></TR>
  7. 7 <TR>
  8. 8 <TH>考试类别:</TH>
  9. 9 <TD>英语四级</TD></TR>
  10. 10 <TR>
  11. 11 <TH>准考证号:</TH>
  12. 12 <TD>120135151100101</TD></TR>
  13. 13 <TR>
  14. 14 <TH>考试时间:</TH>
  15. 15 <TD>201506月</TD></TR>总分:</TH><TD class=fontBold vAlign="top"><SPAN class=colorRed>403 </SPAN><BR><SPAN class=color666>听力:</SPAN> 132 <BR><SPAN class=color666>阅读:</SPAN> 147 <BR><SPAN class=color666>写作与翻译:</SPAN> 124 </TD></TR>

该代码显示了成绩,可以知道,该网站使用的是动态网页,用的JavaScript或者Ajax.js还是其他的我就不知道了0.0。上面为需求。

 

  前言:使用过BeautifulSoup爬取过,但是BeautifulSoup是爬取不了动态网页的,上各种论坛找各种资料,用了n种东西,scapy,pyqt等等,走了真心不少弯路,不是不行,应该是我不会用,最终用了selenium和phantomjs,这两个应该也是目前最流行的爬虫模块了吧。

一、导入selenium和phantomjs

  

  1. 1 from selenium import webdriver
  2. 2
  3. 3 driver = webdriver.PhantomJS(executable_path=D:\phantomjs-2.1.1-windows\phantomjs.exe)
  4. 4 driver.get(url)
  5. 5 driver.find_element_by_id(zkzh).send_keys(i)
  6. 6 driver.find_element_by_id(xm).send_keys(xm)
  7. 7 driver.find_elements_by_tag_name(form)[1].submit()

  代码说明:

  3.selenium可以加载很多驱动,比如Chrome、FireFox等,这里需要有这两个浏览器和驱动才行,折腾了一下,网上说Phantomjs是较好的了

  5、6、7分别是准考证号,姓名和提交

二、字符处理

提交之后就可以直接查找了:

  1. 1 print driver.find_element_by_xpath("//tr[3]/td[1]").text
  2. 2 print driver.find_element_by_xpath("//tr[6]/td[1]").text

  代码说明:

  1.查看姓名

  2.查看分数及其具体成绩

  打印之后为:

  1. 姓名
  2. 403
  3. 听力
  4. 132
  5. 阅读
  6. 147
  7. 写作
  8. 142

  之后要对分数进行字符串处理,选取各部分的数字,这里我们采用re模块:

  1. 1 import re
  2. 2 m = re.findall(r(\w*[0-9]+)\w*, chuli2)

  其中m是数组,输出的是["403","132","147","142"]

三、数据库

  我们学校也不知说很渣还是人性化,反正公布了全校的四六级准考证号,当然,是excel的,需要导入mysql数据库,打开Excel之后,我发现微软大法和Oracle真是牛逼啊,Excel365居然有mysql workbench连接部分

技术分享

 数据库代码如下:

  1. 1 import MySQLdb
  2. 2
  3. 3 conn = MySQLdb.Connect(host=localhost, user=root, passwd=root, db=cet, port=3306, charset=utf8)
  4. 4 cur = conn.cursor()
  5. 5 curr = conn.cursor()
  6. 6 cur.execute("select name from cet.cet where zkzh=(%s)" % i)
  7. 7 xm = cur.fetchone()[0]
  8. 8 print "Name is " + xm
  9. 9 sqltxt = "update cet.cet set leibie=(%s),zongfen=(%s),tingli=(%s),yuedu=(%s),xiezuo=(%s) WHERE zkzh=(%s)" % (
  10. 10 ss, m[0], m[1], m[2], m[3], i)
  11. 11 cur.execute(sqltxt)
  12. 12 conn.commit()
  13. 13 cur.close()
  14. 14 conn.close()

  代码说明:

  3.python连接数据库代码

  6.连接数据库取得姓名部分

  9.这行我好无语啊,使用‘“+ss+”’这样的写法一直报错,最终找了半天资料,这个写法我不太喜欢,但是凑合着用吧。

  12.记得一定要提交事务!!!commit()!!!不然是没有效果的

四、使用代理服务器(保留以后写)

  运行了一段时间之后,大概抓了几百人的吧,然后就出现要求验证码了,解决办法只能处理验证码或者使用代理服务器了,这部分继续加强学习再弄出来了↖(^ω^)↗

五、源代码和效果

  1. 1 # encoding=utf8
  2. 2
  3. 3 import MySQLdb
  4. 4 import re
  5. 5 import time
  6. 6
  7. 7 from selenium import webdriver
  8. 8
  9. 9 # connect mysql,get zkxh and xm
  10. 10 conn = MySQLdb.Connect(host=localhost, user=root, passwd=root, db=cet, port=3306, charset=utf8)
  11. 11 cur = conn.cursor()
  12. 12 curr = conn.cursor()
  13. 13 url = http://www.chsi.com.cn/cet/query
  14. 14
  15. 15
  16. 16 def kaishi(i):
  17. 17 print i,
  18. 18 print " start"
  19. 19 try:
  20. 20 cur.execute("select name from cet.cet where zkzh=(%s)" % i)
  21. 21 xm = cur.fetchone()[0]
  22. 22 print "Name is " + xm
  23. 23 driver = webdriver.PhantomJS(executable_path=D:\phantomjs-2.1.1-windows\phantomjs.exe)
  24. 24 driver.get(url)
  25. 25 driver.find_element_by_id(zkzh).send_keys(i)
  26. 26 driver.find_element_by_id(xm).send_keys(xm)
  27. 27 driver.find_elements_by_tag_name(form)[1].submit()
  28. 28 driver.set_page_load_timeout(10)
  29. 29 leibie = driver.find_element_by_xpath("//tr[3]/td[1]").text
  30. 30 leibie2 = str(leibie.encode("utf-8"))
  31. 31 ss = ""
  32. 32 if leibie2.decode("utf-8") == 英语四级.decode("utf-8"):
  33. 33 ss = 4
  34. 34 else:
  35. 35 ss = 6
  36. 36 # zongfen = driver.find_element_by_xpath("//tr[6]/th[1]").text
  37. 37 # print zongfen
  38. 38 # print "===="
  39. 39 chuli = driver.find_element_by_xpath("//tr[6]/td[1]").text
  40. 40 print chuli
  41. 41 chuli2 = str(chuli.encode("utf-8"))
  42. 42 m = re.findall(r(\w*[0-9]+)\w*, chuli2)
  43. 43 sqltxt = "update cet.cet set leibie=(%s),zongfen=(%s),tingli=(%s),yuedu=(%s),xiezuo=(%s) WHERE zkzh=(%s)" % (
  44. 44 ss, m[0], m[1], m[2], m[3], i)
  45. 45 cur.execute(sqltxt)
  46. 46 conn.commit()
  47. 47 print str(i) + " finish"
  48. 48 except Exception, e:
  49. 49 print e
  50. 50 driver.close()
  51. 51 time.sleep(10)
  52. 52 kaishi(i)
  53. 53
  54. 54
  55. 55 # for j1 in range(1201351511001, 1201351512154):
  56. 56 for j1 in range(1201351511007, 1201351512154):
  57. 57 for j2 in range(0, 3):
  58. 58 for j3 in range(0, 10):
  59. 59 j = str(j1) + str(j2) + str(j3)
  60. 60 if str(j2) + str(j3) == "00":
  61. 61 print "0.0"
  62. 62 elif str(j2) + str(j3) == "29":
  63. 63 kaishi(str(j1) + str(j2) + str(j3))
  64. 64 j4 = str(j1) + "30"
  65. 65 kaishi(j4)
  66. 66 else:
  67. 67 kaishi(j)
  68. 68 print "END!!!"
  69. 69 cur.close()
  70. 70 conn.close()

技术分享

 

动态网页爬取

标签:数组   except   script   encoding   打印   line   upd   浏览器   tin   

原文地址:http://www.cnblogs.com/tester-l/p/6064216.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
分享档案
周排行
mamicode.com排行更多图片
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!