码迷,mamicode.com
首页 > 编程语言 > 详细

python--web crawler-II

时间:2018-08-21 01:09:46      阅读:178      评论:0      收藏:0      [点我收藏+]

标签:后台运行   nbsp   rip   方式   模式   sel   firefox   自动化测试工具   java   

使用Chrome  or  Firefox  进行网页抓取,不足之处,程序运行过程中需要一直开着浏览器。

方法一:目前,最新的Chrome支持无界面模式。

方法二:安装无界面浏览器PhantomJS,此时抓取过程在后台运行,不会有窗口出现。

 

 

selenium 是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击,下拉等。对于一些javascript渲染的页面来说,这种抓取方式非常有效。

python--web crawler-II

标签:后台运行   nbsp   rip   方式   模式   sel   firefox   自动化测试工具   java   

原文地址:https://www.cnblogs.com/Blue-Moniter4/p/9508978.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!