昨夜，一位SEO友人问我一个这样的问题：百度蜘蛛每天都来爬取网站，却只收录首页，文章页及其他页面均未收录，问我是怎么回事？
其实这个问题非常普遍，可以从两个方面分析：
1. 网站内部优化是否完善；
2. 时间问题（文章够原创，站内优化够完善，迟早会收录）。
我们主要来谈谈第一个问题：网站内部优化。
其实SEO是什么？SEO不是单纯的迎合百度及其他搜索引擎，他是时刻随用户的体验度来考量网站是否合适。在当今的互联网大环境下，暂时还是随着大多数用户的习惯性体验来对你的网站进行抓取，拍照，索引。网站优化分为两部分：站内+站外。站内就是网站结构调整+页面HTML调整，站外就是外链建设+丰富的社交圈。
网站只收录首页，可以说这没什么，因为如果一个网站连首页都不能收录，那实在是太失败了。为什么没有抓取内页，自己也要好好想想原因。
比如：首页是否用了大量的FLASH、JS做脚本装饰，是否给搜索引擎留了通往内页的入口，我们知道，蜘蛛很不愿意看到Frame，不是它不喜欢，而且它看不懂，它能做的只是一条条的爬取，你首页有链接可供它点击，它才有可能进入到你的内页，一层层的广度爬行。如果你使用了大量的框架，脚本，完全将带动器封闭在你的框架里，那么蜘蛛无法进入，它只能一次次的在你的首页徘徊。
新站不建议使用这种网站结构，最好调整一下，首页尽量避免动态显示（不是指URL）。
再看下面：
已经做了H标签加粗，却没有设置内链，指向文章内页，要知道，蜘蛛是非常看中H标签的，它非常想要了解，你里面到底写的什么，但是它进不去，你只是在最后的“阅读全文”给它留了入口，它没那么大的耐心，对它而言，H标签才重要的多，所以要学会利用自己的平台资源，切勿浪费。
下面是我给你的建议：
将此页面作为博客首页，遵循蜘蛛的爬取习惯规则，可以这么说，这可以最大程度加深你的博客文章被抓取，但记得一些必要的内链要做好，平时要多看一些软文写作方面的教材，不要一味的贴近教材，在写之前，要思考一下，用户会不会搜索你写的文章标题，这篇文章写出来，对互联网的意义有多少，是不是用户所需求的，需求量大不大，这些都是长尾词要考虑的流量因素，还有，尽量图文并茂（包括发外链）。
再稍微规划一下，看下面这张图：
一看就明白，在此处调用一个留言板块，站点基本成型。
最后，来看一下robots文件：
robots里有些文件没有必要写上去。
两个重要的建议：
1. 在robots的最下面写上网站的地图地址，两个都要写。
参考样式：
Sitemap: http://domain/sitemap.html
Sitemap: http://domain/sitemap.xml
2. 新站，自己在发外链的事情，请带上自己网站的地图链接，不说原因，这很重要。
以上就是二毛自己对“百度蜘蛛每天都来爬取网站，却只收录首页是怎么回事？”的个人解读，希望大家从中能够学到对自己有用的一处或两处。
郑重声明：二毛SEO学习博客所有文章均为原创，转载或引用请表明出处，谢谢合作。
二毛解读：百度蜘蛛每天都来爬取网站，却只收录首页是怎么回事？
原文地址：http://blog.csdn.net/yzdzhouxiong/article/details/45556399
