CasperJs是一个基于PhantomJs的工具,其比起PhantomJs能够更加方便的进行navigation。一个最简单的CasperJs代码创建一个文件baidu.js。用来模拟我们訪问百度页面var casper = require('casper').create();casper.st...
分类:
Web程序 时间:
2015-12-29 22:31:33
阅读次数:
205
最近在使用Python爬取网页内容时,总是遇到JS临时加载、动态获取网页信息的困难。例如爬取CSDN下载资源评论、搜狐图片中的“原图”等,此时尝试学习Phantomjs和CasperJS来解决这个问题。这第一篇文章当然就是安装过程及入门介绍,主要先介绍Phantomjs安装过程及常见用法,参考官方文...
分类:
编程语言 时间:
2015-12-18 06:56:32
阅读次数:
378
selenium 是web应用程序测试的工具 phantomjs,可以模拟浏览器,实现绚烂。是服务端的javascript api的webkit casperjs,是基于phantomjs的测试工具。与页面有了交互性,比如提交表单。...
分类:
Web程序 时间:
2015-09-17 01:17:05
阅读次数:
185
文章摘要:其实这里casperjs与python没有直接关系,主要依赖casperjs调用phantomjs webkit获取html文件内容。长期以来,爬虫抓取 客户端javascript渲染生成的html页面 都极为 困难, Java里面有?HtmlUnit?, 而Pyt...
分类:
编程语言 时间:
2015-09-02 16:05:40
阅读次数:
264
最近项目在使用Phantomjs作自动化检测时,有一个需求,需要下载检测网站的所有资源,包括css、js和图片资源,方便人工分析时可以把整个page还原。可惜,Phantomjs并没有直接提供download()这样的方法。查找资料后发现Casperjs有一个download的方法,可以把任意url...
分类:
Web程序 时间:
2015-08-20 22:10:36
阅读次数:
530
最近准备深入学习Python相关的爬虫知识了,如果说在使用Python爬取相对正规的网页使用"urllib2 + BeautifulSoup + 正则表达式"就能搞定的话;那么动态生成的信息页面,如Ajax、JavaScript等就需要通过"Phantomjs + CasperJS + Selenium"来实现了。所以先从安装和功能介绍入门,后面在介绍一些Python相关的爬虫应用。基础性文章希望对你有所帮助~...
分类:
编程语言 时间:
2015-08-19 20:22:32
阅读次数:
201
最近在使用Python爬取网页内容时,总是遇到JS临时加载、动态获取网页信息的困难。例如爬取CSDN下载资源评论、搜狐图片中的“原图”等,此时尝试学习Phantomjs和CasperJS来解决这个问题。这第一篇文章当然就是安装过程及入门介绍,主要先介绍Phantomjs安装过程及常见用法,参考官方文档,包括:网页截图、页面加载、代码运算、DOM操作、网络请求及响应等,希望对你有所帮助~...
分类:
编程语言 时间:
2015-08-19 07:08:52
阅读次数:
227
原文网址http://docs.casperjs.org/en/latest/modules/casper.html
ps:原谅我的渣渣英语
1、create()创建一个casper实例
var casper = require('casper').create();
2、Casper.options 设置casper属性
1)clientScripts
T...
解决方案参考:https://github.com/n1k0/casperjs/issues/49#issuecomment-60430359
casper.wait(10000,function(){}),等待了10s后发现获取当前页面的地址的话,还是about:blank
但是我按照上面说的加上casperjs my.js --ignore-ssl-errors=yes 和 --ssl...
分类:
Web程序 时间:
2015-08-05 13:02:15
阅读次数:
178
百度百科说:CasperJS是一个开源的导航脚本处理和测试工具,基于PhantomJS(前端自动化测试工具)编写。CasperJS简化了完整的导航场景的过程定义,提供了用于完成常见任务的实用的高级函数、方法和语法。
CsperJS功能:
定义和整理导航步骤
表单填充...
分类:
Web程序 时间:
2015-08-04 13:41:52
阅读次数:
246