码迷，mamicode.com
首页 > 其他好文 > 详细

Robots 限制搜索引擎蜘蛛抓取哪些文件

时间：2015-09-12 01:09:38      阅读：272      评论：0      收藏：0      [点我收藏+]

标签：

编辑一份 Robots 文件，另存为robots.txt，存在到服务器的根目录里

Java代码   技术分享
  1. User-agent: *   
  2. Disallow: /plus/ad_js.php  
  3. Disallow: /plus/advancedsearch.php  
  4. Disallow: /plus/car.php  
  5. Disallow: /plus/carbuyaction.php  
  6. Disallow: /plus/shops_buyaction.php  
  7. Disallow: /plus/erraddsave.php  
  8. Disallow: /plus/posttocar.php  
  9. Disallow: /plus/disdls.php  
  10. Disallow: /plus/feedback_js.php  
  11. Disallow: /plus/mytag_js.php  
  12. Disallow: /plus/rss.php  
  13. Disallow: /plus/search.php  
  14. Disallow: /plus/recommend.php  
  15. Disallow: /plus/stow.php  
  16. Disallow: /plus/count.php  
  17. Disallow: /include  
  18. Disallow: /templets  

 

效果图：
技术分享
 

打开百度站长链接：http://zhanzhang.baidu.com/robots/index

输入域名或子域名

技术分享
 
技术分享

 

robots.txt文件用法举例
技术分享

Robots 限制搜索引擎蜘蛛抓取哪些文件

标签：

原文地址：http://my.oschina.net/u/2273085/blog/505174
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！