标签：网站收录特别差 robots文本制作 网站地图 站内优化
网站收录特别差？robots文本文件里加入网站地图，站内优化最佳选择！
在讨论这个话题之前，我们先来了解一下robots的概念和制作：
robots文本概念：这个文件主要是给搜索引擎看的，搜索引擎在进入网站时，首先会访问FTP服务器里的robots.txt文本，你需要在文本里设置推荐给搜索引擎看的网页或者目录，以及拒绝搜索引擎收录的网页或者目录（拒绝这一项是我们经常做的）。
重要的一点：robots文本制作好后，一定是放在FTP的根目录。（类似：http://domain.com/robots.txt）
下面我们来看一下robots.txt文本的制作：
1）手工制作（不是很难）：
1. User-agent: *（*通配符/代表所有搜索引擎）
Disallow: / （否定前缀/不允许）
Allow: / （允许）
2. User-agent: baiduspider （蜘蛛名称/百度/网站日志查询）
Disallow: /
User-agent: googlebot （蜘蛛名称/谷歌/网站日志查询）
Disallow: /
3. User-agent: * AB
Allow: /目录1/目录2.html（容许访问目录2中的网页）
Disallow: /目录1/
举例：
User-agent: * A邀请B来A家去玩
Disallow: /A/ 得罪B
Allow: /目录1/目录2.html（容许访问目录2中的网页）
4. 其他解释：
Disallow: /?* 不要爬行以?开头的页面或者是文件夹
Disallow: /*?* 不要爬行网站内的动态页面
特别提示：目前百度的算法已经非常精明，不必再为动态、静态的事情犯愁，百度官方指南明确里面，动态和静态页面，都一样收录。
下面是我们今天要提的重点内容：
先看一个范例：
User-agent: *
Disallow: /目录1/1.html
Disallow: /目录3/
Disallow: /目录5/
Sitemap: /sitemap.xml(推荐地图)
Sitemap: /sitemap.html(推荐地图)
将网站地图加入robots.txt文本中，可促进网页更好的收录，试想一下，搜索引擎首先看的是robots.txt文本文件，你把网站地图直接放在里面，让搜索引擎自己去点击，去看，相信比任何激发蜘蛛的方法都要好吧！
网站收录情况很差，自己分析不出原因，不妨看看robots.txt文本这一项是否设置对了。
2） 利用工具自动创建robots.txt文本文件（非常简单）：
现在有很多站长工具类网站可以自动创建robots.txt文本，站长只需输入目录或者网页即可在线生成robots.txt文本。
举例说明：http://tool.chinaz.com/robots/
不用多说，相信大家已经看到robots文本里加入网站地图的重要性了，至于如何生成，请自行学习，非常简单。
网站收录特别差？robots文本文件里加入网站地图，站内优化最佳选择！
文章写到这里，有不懂的可以联系二毛，第一时间为你解答。
网站收录特别差？robots文本文件里加入网站地图，站内优化最佳选择！
标签：网站收录特别差 robots文本制作 网站地图 站内优化
原文地址：http://blog.csdn.net/yzdzhouxiong/article/details/45602173
