码迷，mamicode.com
首页 > 其他好文 > 详细

数据抓取的艺术（二）

时间：2016-05-15 02:18:21      阅读：197      评论：0      收藏：0      [点我收藏+]

标签：

原文地址：http://blog.chinaunix.net/uid-22414998-id-3695673.html

 

续前文：《数据抓取的艺术（一）：Selenium+Phantomjs数据抓取环境配置》。


程序优化：第一步
开始：

  2. for i in range(startx,total):
  3.     for j in range(starty,total):
  4.         BASE_URL = createTheUrl([item[i],item[j]])
  5.         driver.get(BASE_URL)
  6.         driver = webdriver.PhantomJS()
  7.         html = driver.page_source
  8.         output = filterOutcome(html)
  9.         driver.quit()
  10.         print ‘i=‘+str(i)+‘tj=‘+str(j)+‘tresult=‘+str(output)
  11.     j += 1

      每个耗时约27秒。

修改后：

  2. driver = webdriver.PhantomJS()
  3. for i in range(startx,total):
  4.     for j in range(starty,total):
  5.         BASE_URL = createTheUrl([item[i],item[j]])
  6.         driver.get(BASE_URL)
  7.         html = driver.page_source
  8.         output = filterOutcome(html)
  9.         
  10.         print ‘i=‘+str(i)+‘tj=‘+str(j)+‘tresult=‘+str(output)
  11.         if output == -1:
  12.             driver.quit()
  13.             exit(0)
  14.     j += 1
  15. driver.quit()

      这回只分析了3个，共52秒，每个耗时约17秒，只是因为避免了重复PhantomJS的开启、运行和关闭这一过程。

程序优化：第二步
      减少对角线重复请求次数：

  1. driver = webdriver.PhantomJS()
  2. for i in range(startx,total):
  3.     if starty != -1:
  4.         k = i
  5.     else:
  6.         k = starty
  7.     for j in range(k,total):
  8.         BASE_URL = createTheUrl([item[i],item[j]])
  9.         driver.get(BASE_URL)
  10.         html = driver.page_source
  11.         output = filterOutcome(html)
  12.         
  13.         print ‘i=‘+str(i)+‘tj=‘+str(j)+‘tresult=‘+str(output)
  14.         if output == -1:
  15.             driver.quit()
  16.             exit(0)
  17.         #toexcel("C:catchoutput.xlsx","Sheet1",output,i,j)
  18.     j += 1
  19. driver.quit()

     和上面的待分析的个数一样，花费21秒，每个耗时约7秒。如果开启excel存储，则共花费25秒，每个耗时约8秒。

程序优化：第三步
      减少写入Excel的次数，提高硬盘性能。当然，数据量越大，次数越多，效果越明显。这次把Excel一直打开，每隔20个保存一次。

  1. #打开Excel插件
  2. xlsApp = win32com.client.Dispatch("Excel.Application")
  3. xlsBook = xlsApp.Workbooks.Open(‘C:catchoutput.xlsx‘)
  4. xlsSheet = xlsBook.Sheets(‘Sheet1‘)
  6. #开启webdirver的PhantomJS对象
  7. driver = webdriver.PhantomJS()
  9. #main()
  10. for i in range(startx,total):
  11.     if starty != -1:
  12.         k = i
  13.     else:
  14.         k = starty
  15.     for j in range(k,total):
  16.         BASE_URL = createTheUrl([item[i],item[j]])
  17.         driver.get(BASE_URL)
  18.         html = driver.page_source
  19.         output = filterOutcome(html)
  20.         
  21.         print ‘i=‘+str(i)+‘tj=‘+str(j)+‘tresult=‘+str(output)
  22.         mycounter += 1
  23.         
  24.         if output == -1:
  25.             driver.quit()
  26.             xlsBook.Save()
  27.             xlsBook.Close()
  28.             xlsApp.Quit()
  29.             exit(0)
  30.         xlsSheet.Cells(j+1,i+1).Value = xlsSheet.Cells(i+1,j+1).Value = output
  32.         #每隔20个保存一次，并重新清零
  33.         if mycounter%20 == 0:
  34.             print "~~~~~~ SAVED HERE ~~~~~~"
  35.             xlsBook.Save()
  36.             mycounter = 0
  37.     j += 1
  39. #程序结束前的清扫工作
  40. driver.quit()
  41. xlsBook.Save()
  42. xlsBook.Close()
  43. xlsApp.Quit()

      结果如下：

  1. >>>
  2. 请输入起始XaaS的序号X：0
  3. 请输入起始XaaS的序号Y：0
  4. 待处理数据记录总数：8 条
  5. 待处理握手总数：36 次
  6. 读取info.txt文件成功
  8. 计时开始!
  10. ----------------
  11. i=0 j=0 result=14000000
  12. i=0 j=1 result=2
  13. i=0 j=2 result=8
  14. i=0 j=3 result=1
  15. i=0 j=4 result=80400
  16. i=0 j=5 result=2
  17. i=0 j=6 result=3
  18. i=0 j=7 result=8470
  19. i=1 j=1 result=394000
  20. i=1 j=2 result=3140
  21. i=1 j=3 result=9
  22. i=1 j=4 result=57
  23. i=1 j=5 result=7
  24. i=1 j=6 result=3790
  25. i=1 j=7 result=718
  26. i=2 j=2 result=7110000
  27. i=2 j=3 result=7
  28. i=2 j=4 result=4
  29. i=2 j=5 result=232000
  30. i=2 j=6 result=382000
  31. i=2 j=7 result=7970
  32. i=3 j=3 result=981000
  33. i=3 j=4 result=7
  34. i=3 j=5 result=1
  35. i=3 j=6 result=2
  36. i=3 j=7 result=10
  37. i=4 j=4 result=398000
  38. i=4 j=5 result=4
  39. i=4 j=6 result=3850
  40. i=4 j=7 result=1390
  41. i=5 j=5 result=275000
  42. i=5 j=6 result=32100
  43. i=5 j=7 result=8
  44. i=6 j=6 result=8050000
  45. i=6 j=7 result=67800
  46. i=7 j=7 result=738000
  47. ----------------
  49. 执行成功！
  51. 程序耗时：72 秒

    相当于每次握手，花费2秒。但这还存在一个致命伤，那就是在随着数据量的激增，以后经常要保存上万个值，每次都保存，那么次数越多写入量就会越大。只是希望微软的Excel已经能够知道：哪些是未改动数据就不必再次写入，哪些数据改动过需要写入。

程序优化：第四步
      使用多线程+使用数据库。如果不用数据库，就靠读写一个单机版的Excel，效率太低，因此我考虑用Mysql或Sqlite。最后再将结果转出来。

数据抓取的艺术（二）

标签：

原文地址：http://www.cnblogs.com/liinux/p/5494190.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！