禁止搜索引擎收录的方法（robots.txt）一、什么是robots.txt文件?搜索引擎通过一种程序robot（又称spider），自己主动訪问互联网上的网页并获取网页信息。您能够在您的站点中创建一个纯文本文件robots.txt，在这个文件里声明该站点中不想被robot訪问的部分，这样，该站点的...
分类：
其他好文 时间：
2014-08-23 11:19:10
阅读次数：
338
为了不让搜索引擎索引网站的后台页面或其它隐私页面，我们将这些路径在robots.txt文件中禁用了。但矛盾的是，robots.txt文件任何人都可以访问，包括黑客。为了禁止搜索引擎，我们把隐私泄露给了黑客。 robots.txt干什么的？robots.txt基本上每个网站都用，而且放到了网站的根目录...
分类：
Web程序 时间：
2014-08-22 17:42:09
阅读次数：
189
题目链接：http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=654
AC一百道水题，不如AC一道难题来的舒服！
题意：一个n*m地图，*代表草地，#代表墙，o代表空地，要再图中的o处放机器人，机器人可以攻击（上下左右）4个方向，攻击范围无限长，而且机器人不能相互攻击，草地不能放置机器人，且机器人的攻击可以穿...
分类：
其他好文 时间：
2014-08-17 17:07:12
阅读次数：
167
大家都知道sitemap.xml是用来给搜索引擎提交收录的工具，虽然搜索引擎自己也会收录网站但是有了sitemap.xml之后速度会加快不少。而ecshop程序是有自动生成sitemap.xml的功能，只不过ecshop生成的路径在data里面，但是data文件在robots.txt里定义是拒绝搜索...
分类：
其他好文 时间：
2014-08-15 17:17:59
阅读次数：
204
一、从Spider程序到Robots协议 即使不是工程狮，关注互联网的人也很少不知道Robots协议。百度和360从2012年起展开的一场屏蔽与反屏蔽战把原本程序猿才知道的Robots协议变成媒体热词。北京一中院8月7日对3B搜索不正...
分类：
其他好文 时间：
2014-08-12 09:06:44
阅读次数：
149
一、从Spider程序到Robots协议即使不是工程狮，关注互联网的人也很少不知道Robots协议。百度和360从2012年起展开的一场屏蔽与反屏蔽战把原本程序猿才知道的Robots协议变成媒体热词。北京一中院8月7日对3B搜索不正当竞争纠纷案（3B案）刚刚作出的一审判决让Robots协议在新闻里又...
分类：
其他好文 时间：
2014-08-11 20:57:32
阅读次数：
250
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的。搜索引擎的原理是通过...
分类：
其他好文 时间：
2014-08-07 22:47:25
阅读次数：
350
今天很不小心点开百度新闻主页面，以及360新闻主页面，分别有一篇文章，但是针对百度诉360违反Robots协议案。标题分别是《百度诉360违反爬虫协议案宣判：360赔偿70万》 《法院判定360搜索可抓取百度内容》。显然，两者报道的最终法院判决结果截然相反。请看下面截图：
显然，双方都在掩饰自己的过错，宣扬自己的长处。更搞笑的是双方互相挖苦，百度发文《360律师要求百度感谢被...
分类：
其他好文 时间：
2014-08-07 19:11:20
阅读次数：
280
其实很多人刚刚开始从事网站建设工作的时候，根本就不知道什么是robots.txt，就算知道了也不懂得robots.txt的文件格式是什么，今天小编我就来和大家分享一下吧，本文来自于e良师益友网。
分类：
Web程序 时间：
2014-08-05 15:37:29
阅读次数：
239
Golden PyramidOur Robo-Trio need to train for future journeys and treasure hunts. Stephan has built a special flat model of a pyramid. Now the robots ...
分类：
其他好文 时间：
2014-08-05 14:02:59
阅读次数：
333
