Description
The “U.S. Robots” HQ has just received a rather alarming anonymous letter. It states that the agent from the competing «Robots Unlimited» has infiltrated into “U.S. Robotics”. «U.S. R...
分类：
其他好文 时间：
2014-09-26 22:34:29
阅读次数：
370
1297. PalindromeTime Limit: 1.0 secondMemory Limit: 16 MBThe “U.S. Robots” HQ has just received a rather alarming anonymous letter. It states that the...
分类：
其他好文 时间：
2014-09-25 21:19:47
阅读次数：
157
链接：http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=654...
分类：
其他好文 时间：
2014-09-23 01:40:13
阅读次数：
260
题目链接：http://poj.org/problem?id=2632题目大意：题意简单，N个机器人在一个A*B的网格上运动，告诉你机器人的起始位置和对它的具体操作，输出结果：1.Robot i crashes into the wall, if robot i crashes into a wal...
分类：
其他好文 时间：
2014-09-21 18:42:01
阅读次数：
340
昨天晚上为了下载保存某位csdn大牛的全部博文，写了一个爬虫来自动抓取文章并保存到txt文本，当然也可以 保存到html网页中。这样就可以不用Ctrl+C 和Ctrl+V了，非常方便，抓取别的网站也是大同小异。
为了解析抓取的网页，用到了第三方模块，BeautifulSoup，这个模块对于解析html文件非常有用，当然也可以自己使用正则表达式去解析，但是比较麻烦。
由于csdn网站的robots.txt文件中显示禁止任何爬虫，所以必须把爬虫伪装成浏览器，而且不能频繁抓取，得sleep一会再抓，使用频繁会...
分类：
编程语言 时间：
2014-09-19 13:57:15
阅读次数：
284
通过网站访问日志我们可以看见很多蜘蛛爬行记录。搜索引擎都遵守互联网robots协议，是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则，以及设置搜索引擎蜘蛛Spider抓取内容规则。通过robots.txt来进行限制，首先在网站跟目录下面建立一个robots...
分类：
其他好文 时间：
2014-09-18 16:58:24
阅读次数：
195
fetcher.max.crawl.delay 默认是30秒，这里改为 5秒修改nutch-default.xml fetcher.max.crawl.delay 5 If the Crawl-Delay in robots.txt is set to greater than this val.....
分类：
其他好文 时间：
2014-09-05 12:37:31
阅读次数：
193
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。
找到wechall的robots.txt ht...
分类：
其他好文 时间：
2014-09-04 15:03:09
阅读次数：
542
关于robots.txt文件：搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索...
分类：
其他好文 时间：
2014-08-29 18:08:08
阅读次数：
268
Problem Description
Rompire is a robot kingdom and a lot of robots live there peacefully. But one day, the king of Rompire was captured by human beings. His thinking circuit was changed by human an...
分类：
其他好文 时间：
2014-08-28 11:27:09
阅读次数：
265
