robots.txt文件的概念、特点和写法
1. 概念：robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页/文件夹可以收录，哪些不允许收录（可以爬行）。
提示：/admin/ 拒绝推荐
搜索引擎第一步看的就是网站的robots.txt
文件放在哪里：FTP服务器-网站根目录
穿插小疑问：网站收录特别差，为什么差？原因不明！
推荐解决方法：网站地图+robots...
分类：
Web程序 时间：
2015-07-28 23:19:47
阅读次数：
220
robots.txt文件的概念、特点和写法
1. 概念：robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页/文件夹可以收录，哪些不允许收录（可以爬行）。
提示：/admin/ 拒绝推荐
搜索引擎第一步看的就是网站的robots.txt
文件放在哪里：FTP服务器-网站根目录
穿插小疑问：网站收录特别差，为什么差？原因不明！
推荐解决方法：网站地图+robots.t...
分类：
其他好文 时间：
2015-05-20 11:20:38
阅读次数：
117
网站收录特别差？robots文本文件里加入网站地图，站内优化最佳选择！
在讨论这个话题之前，我们先来了解一下robots的概念和制作：
robots文本概念：这个文件主要是给搜索引擎看的，搜索引擎在进入网站时，首先会访问FTP服务器里的robots.txt文本，你需要在文本里设置推荐给搜索引擎看的网页或者目录，以及拒绝搜索引擎收录的网页或者目录（拒绝这一项是我们经常做的...
分类：
Web程序 时间：
2015-05-09 17:37:17
阅读次数：
205
