大多数网站都会定义robots.txt文件来限制爬虫爬去信息,我们在爬去网站之前可以使用robots.txt来查看的相关限制信息
例如:
我们以【CSDN博客】的限制信息为例子
在浏览器输入:https://blog.csdn.net/robots.txt
获取到信息如下:
从上图我们可以看出:
①该网站无论用户使用哪种代理都允许爬取
②但是当爬取/css,/images…等链接的时候是禁止的
③我们可以看到还存在一个网址Sitemap,j具体解析如下:
网站提供的Sitemap文件(即网站地图)可以帮助网站定位最新的内容,则无须爬取每一个网页,虽然Sitemap文件提供了一种爬取网站的有效方式,但是我们仍然需要对其谨慎处理,因为该文件经常存在缺失,过期和不完整。