WEB机器人之robots协议web机器人，即爬虫。可以递归的对web站点进行遍历查询，获取web页面。robots.txt：robots协议，是一种自愿约束技术。有些web站点并不希望web机器人查看其站内某些隐私信息，人们提出了robots协议。即所有web站点都可以在其根目录下创建一个robots.txt的文..
分类：
Web程序 时间：
2015-05-06 15:22:45
阅读次数：
134
.htaccess文件配置1 2 RewriteEngine On3 RewriteBase /4 RewriteCond $1 !^(index\.php|assets|system|robots\.txt) 5 RewriteRule ^(.*)$ /index.php/$1 ...
分类：
Web程序 时间：
2015-04-24 08:57:38
阅读次数：
139
近期发现很多让做SEO诊断的网站一些最基础的操作都没有做，比如首选域确定及301设置、robots.txt文件没有写、404页面没有制作及设置等。前面两项在网上信息最多，这次主要说下404页面的问题。404页面的作用是什么？404页面是为了在用户属于错误URL或网页文件被删除时提醒用户的页面，页面中...
分类：
其他好文 时间：
2015-04-23 15:24:23
阅读次数：
173
Place the Robots思路：在任意一个点格子放机器人，那么它所在的行和列被控制了。我们对每一行或每一列连续的空地（草地忽视）称之为块，给每一行和每一列的块标号，每一行的快与每一列的快相交的话，才有只有一个交点。 我们把交点当边，把行块和列块连接起来。每一...
分类：
其他好文 时间：
2015-04-17 23:42:49
阅读次数：
283
有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。1,默认是all其中的属性说明如下：设定为all：文件将被检索，且页面上的链接可以被查询；设定为none：文件将不被检索...
分类：
Web程序 时间：
2015-04-15 22:58:16
阅读次数：
174
如果某些二级域名不愿意被收入，如果这些二级域名可以不访问的，那就直接对特定域名做301重定向到主域名上，或者把这几个二级域名单独绑定到新的目录或者子目录里面，然后用robots做目录限制抓取。如果二级域名还需要用，那就牺牲一段时间，把域名单独做解析到新目录或新服务器下，然后做404，再向百度站长平台...
分类：
其他好文 时间：
2015-04-14 12:41:43
阅读次数：
201
首次分享在seo优化中遇到的问题与解决方法，请大神多多指教共同进步，凡人轻喷，谢谢。这个月8日接到的网站优化，一个旅游网站，要求是一个月排到百度首页，我当时看了下数据，觉得一个月时间有点短，很难到首页，不过做不到也并没有损失和惩罚，于是自己就接下了，希望通过自己的努力尽量把排名做上去，是不是首页真的...
分类：
Web程序 时间：
2015-04-13 22:42:09
阅读次数：
158
1. 如何绕过目标站点的robots.txt限制 多数站点都是只允许百度、google等搜索引擎抓取的，所以会在robots.txt里限制其他爬虫。nutch自然是会遵循robots协议的，但是我们可以通过修改nutch源码来绕过限制。相关代码位于（nutch版本1.5.1，其他版本未测试）：org...
分类：
其他好文 时间：
2015-04-09 19:09:13
阅读次数：
108
题目大意：
在一个N*M(N <= 24，M <= 24)的图中，有很多垃圾， 清理垃圾的机器人从左上角开始清理。已
知机器人只能向右或是向下清理垃圾，在清理完一个地方的垃圾后可以继续向右或是向下去清理
其他垃圾。最终运行到(N，M)的位置终止。问：最少需要多少个机器人，能清理完所有的垃圾。
思路：
图中没有给N和M的大小，只是给出了垃圾的位置。输入用0 0表示一组数据输入结束。建一个结构
体来存储垃圾的坐标值。现在来建一个二分图，图的两边就是垃圾的节点，遍历原图，如果垃圾j在
垃圾i的右下角，就将(i，...
分类：
其他好文 时间：
2015-04-07 21:41:53
阅读次数：
146
下面我们来研究这个网站：短美文（http://www.duanmeiwen.com/）它的robots.txt地址是：http://www.duanmeiwen.com/robots.txt文件如下：User-agent: * Disallow: /plus/ad_js.phpDisallow: /...
分类：
Web程序 时间：
2015-04-04 16:24:32
阅读次数：
142
