码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫的Chrome插件推荐

时间:2018-05-16 11:02:49      阅读:292      评论:0      收藏:0      [点我收藏+]

标签:爬虫   xpath   json   python爬虫   

【1】Toggle JavaScript

这个插件可以帮助我们快速直观地检测网页里哪些信息是通过AJAX异步加载而来的,具体怎么用,下面会详细讲解。
chrome商店下载地址:https://chrome.google.com/webstore/detail/toggle-javascript/cidlcjdalomndpeagkjpnefhljffbnlo?utm_source=chrome-app-launcher-info-dialog
(Ps:打不的小伙伴自行百度搜索国内提供chrome插件下载的网站离线安装)

【2】JSON-handle

这个插件可以帮我们格式化Json串,从而让我们以一个更友好的方式查看Json内的信息。 chrome商店下载地址:https://chrome.google.com/webstore/detail/json-handle/iahnhfdhidomcpggpaimmmahffihkfnj
(Ps:打不的小伙伴自行百度搜索国内提供chrome插件下载的网站离线安装)


【3】User-Agent Switcher

  1. 解读:
    上篇解读爬虫中HTTP的秘密(基础篇)我们介绍了请求头,而这个工具就是针对请求头中的User-Agent字段的。它的作用是可以随意更换浏览器的User-Agent。
    比如,你用Chrome浏览器浏览网页,浏览器默认身份是Chrome,但是你可以通过这个工具更换成其它任何身份。
    这个最大的好处就是可以直接更换成手机身份浏览网页,而不必用开发者工具来回切换。
  2. 使用说明:
    使用Chrome浏览器安装插件,点开图标,选择你需要的身份即可。

【4】Xpath-Helper

  1. 解读:
    针对Xpath解析方法,Xpath-Helper可提供当前网页指定Xpath语句的查询结果。
  2. 使用说明:
    点开图标,出现黑色框框。

QUERY:Xpath语句
RESULTS:查询结果

1 .开发者工具找到源码相应位置,右键copy xpath

2 .复制到QUERY里面,结果自动出来

注:Xpath-Helper小工具安装后需要重启Chrome方可使用,请大家注意一下这个坑。

爬虫的Chrome插件推荐

标签:爬虫   xpath   json   python爬虫   

原文地址:http://blog.51cto.com/13000661/2116806

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!