前面整理了一些爬虫的内容，今天写一个小小的栗子，内容不深，大佬请忽略。内容包括对豆瓣读书网站中的书籍的基本信息进行爬取，并整理，便于我们快速了解每本书的中心。 一、爬取信息 每当爬取某个网页的信息时，首先就是要进入到网页中，看看有没有什么爬取过程中的限制，可以查看网站的robots协议。就是在原网址 ...
分类：
其他好文 时间：
2018-10-27 23:36:26
阅读次数：
393
对Scrapy框架（一）的补充 Infi-chu: http://www.cnblogs.com/Infi-chu/ Scrapy优点： 提供了内置的 HTTP 缓存 ，以加速本地开发 。 提供了自动节流调节机制，而且具有遵守 robots.txt 的设置的能力。 可以定义爬行深度的限制，以避免爬虫 ...
分类：
编程语言 时间：
2018-10-26 17:46:41
阅读次数：
150
Python的内置HTTP请求库 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparse robots.txt解析模块 ...
分类：
编程语言 时间：
2018-10-26 10:41:20
阅读次数：
178
DotR (Defense of the Robots) Allstars是一个风靡全球的魔兽地图，他的规则简单与同样流行的地图DotA (Defense of the Ancients) Allstars。 DotR里面的英雄只有一个属性——力量。他们需要购买装备来提升自己的力量值，每件装备都可以 ...
分类：
Web程序 时间：
2018-10-18 21:56:17
阅读次数：
202
soft robots????? Trapezoidal Decomposition gird search ...
分类：
其他好文 时间：
2018-10-15 11:57:00
阅读次数：
158
leetcode 874 Robot Simulation 限制:32MB, 1s 描述 A robot on an infinite grid starts at point (0, 0) and faces north. The robot can receive one of three po ...
分类：
其他好文 时间：
2018-10-14 19:15:18
阅读次数：
216
404.html:自定义找不到的文件样式 robots.txt:搜索引擎访问网站的时候，会首先去查看根目录是否有名为robots的文件，告诉爬虫搜索程序什么文件可以查询，什么文件不能被查询 humans.txt:介绍网站信息和团队的信息，可自由发挥，书写格式页任意，建议到官网去查看标准的格式哈 如果 ...
分类：
其他好文 时间：
2018-10-14 17:49:32
阅读次数：
197
什么是Urllib Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt解析模块 urlopen 关于urllib.re ...
分类：
编程语言 时间：
2018-10-12 17:03:29
阅读次数：
215
题意 火星上有$N$个机器人排成一行，第$i$个机器人的位置为$x_{i}$，视野为$r_{i}$，智商为$q_{i}$。我们认为第$i$个机器人可以看到的位置是$[x_{i}-r_{i},x_{i}+r_{i}]$。如果一对机器人相互可以看到，且它们的智商$q_{i}$的差距不大于$K$，那么它们 ...
分类：
其他好文 时间：
2018-10-07 13:50:49
阅读次数：
224
题意：给定一个n*n的地图，上面有k个障碍点不能走，有一个机器人从(0,0)出发，每次等概率的不动或者往上下左右没有障碍的地方走动，问走无限步后停在图的右下部的概率 n<=1e4，k<=1e3 思路：据说是找规律 From https://blog.csdn.net/anna__1997/artic ...
分类：
其他好文 时间：
2018-10-06 19:47:00
阅读次数：
153
