码迷,mamicode.com
首页 > 其他好文 > 详细

写程序小记2018.2.2

时间:2018-02-03 16:04:57      阅读:120      评论:0      收藏:0      [点我收藏+]

标签:post   end   url   控件实现   sel   今天   比较   class   代码   

今天继续昨天那个项目,主要做的是高匿代理地址自动采集程序。

以前积累了几个代理站点,记得有个站点很鬼,webclient不认,webbrowser控件也不认,好像selenium webdriver也不认,只认真实的浏览器,我也懒得去比较差别,直接用autoit写脚本。今天找了一圈,没找到这个站点。

这个程序比较简单,而且解析网页的代码以前已写好。今天只是把以前用autoit脚本实现的下载功能改用webdriver来实现。头两个直接保存PageSource就行了,第三个稍微麻烦些,是用javascript动态生成地址的,所以直接下载网页没用。懒得去研究它的javascript,干脆先SetForegroundWindow,然后SendKeys模拟Ctrl-A, Ctrl-C直接拷贝。

三个站点的采集程序做好,下一步做代理自动切换。这个以前做过,有代码,拿来整合一下即可。再下一步,修改自动下载的代码,主要是用webdriver代替webbrowser控件实现,另外考虑用webclient或httprequest代替URLDownloadToFile,主要是因为后者要用全局的代理,而且没下载成功没提示,等等缺点。

明天是没空了,有空再接着做。

写程序小记2018.2.2

标签:post   end   url   控件实现   sel   今天   比较   class   代码   

原文地址:https://www.cnblogs.com/badnumber/p/8408876.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!