标签：hack
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。
找到wechall的robots.txt http://www.wechall.net/robots.txt
访问http://www.wechall.net/challenge/training/www/robots/T0PS3CR3T/
标签：hack
原文地址：http://blog.csdn.net/justesss/article/details/39051137
