使用抓包工具 charles 抓取qq音乐客户端 爬虫代码: 数据样例 ...
分类：
其他好文 时间：
2018-11-26 02:11:30
阅读次数：
284
之前的做法是使用PhantomJS以及一个html+嵌套iframe包含目标网站URL+跨域dom操作的简单性能优化。
PhantomJS实现下面的核心需求：
（1）无头模式，然而PhantomJS内核基于老版本的QtWebKit，与最新版本的Chromium代码相比，版本太老了，很多特性用不了（虽然目前国内网站应该也还没开始用上这些？比如ServiceWorker、CSS
Custo...
分类：
其他好文 时间：
2016-05-13 01:48:06
阅读次数：
247
基于浏览器内核的被动式爬虫任务下发框架
现有基于浏览器的客户端测试框架通过ChromeDriver这类组件来主动控制，但主动控制有缺点：
重新load下一个页面时，上一个页面可能仍有JS代码在执行，或者网络层的连接阻塞、UI线程阻塞什么的；通过WebView接口注入执行的JS代码可能因为各种情况意外出错，出错的话无法获得通知无法可靠地向浏览器查询，获得当前任务是否已经执行完...
分类：
其他好文 时间：
2015-08-26 18:00:43
阅读次数：
340
