去哪儿网代理网站机票价格采集方案

时间：2015-10-21 10:56:11 阅读：337 评论：0 收藏：0 [点我收藏+]

标签：

原文作者：西安鲲之鹏

去哪儿网的代理网站有自己独立的机票搜索接口，例如http://xyx.trade.qunar.com/site/。

搜索结果使用Ajax动态加载，服务端返回的数据是JSON格式的。

难点在于返回的价格数据是加密的，返回价格与真实的价格之间有很大的偏差。在客户端使用JS进行解密，显示到页面的价格是正确的。由于解密算法非常复杂，实现难度很大。

鲲鹏数据技术人员通过Webkit模拟浏览器进行采集，绕过了该加密措施，成功采集到机票价格数据。

程序截图如下所示：

采集结果截图如下所示：

特别说明：该文章为西安鲲之鹏的原创文章，你除了可以发表评论外，还可以转载到你的网站或博客，但是请保留源地址，谢谢!!（尊重他人劳动，你我共同努力）

标签：

原文地址：http://my.oschina.net/webscraping/blog/519736

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行