码迷,mamicode.com
首页 > 编程语言 > 详细

头条视频的数据隐藏的好深啊!隐藏的再深也逃不过Python的法眼!

时间:2018-08-09 19:33:57      阅读:167      评论:0      收藏:0      [点我收藏+]

标签:nbsp   json   对比   情况   代码   写代码   简单   自带   alt   

技术分享图片

 

技术分享图片

 

目标情况

这次我们的目标网站,是ajax加载的数据,首先,打开网页后,直接用浏览器(火狐)自带的开发者工具,点击网络,然后下滑网页,点击xhr,找到json数据,可以看到大概有100条内容!进群:548377875   即可获取数十套PDF哦!

技术分享图片

 

技术分享图片

 

里面有每一个视频的相关信息,我们只需要取出每一个视频的url即可!然后在去看看详情页的情况

技术分享图片

 

技术分享图片

 

技术分享图片

 

有没有发现,在url中的关键字,是存在于网页源代码中的,虽然不是完全一样,但是我们可以和前面的那个标签中内容,对比下

技术分享图片

 

技术分享图片

 

可以判定,这里的值就是网页渲染后出现在html标签中的值,而且在源代码中它存在2个不同格式的视频地址!,这就很简单了,我们来写代码吧!

代码实现

简单写了一下,直接用requests请求内容,然后用re匹配,取出目标url

技术分享图片

 

类似网站

技术分享图片

 

技术分享图片

 

用关键字在源代码中查找

技术分享图片

 

最终代码

技术分享图片

 

验证结果

技术分享图片

 

上述文章如有错误欢迎在留言区指出,如果这篇文章对你有用,点个赞,转个发如何?

头条视频的数据隐藏的好深啊!隐藏的再深也逃不过Python的法眼!

标签:nbsp   json   对比   情况   代码   写代码   简单   自带   alt   

原文地址:https://www.cnblogs.com/Python1314/p/9450989.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!