Spiders
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
对spider来说，爬取的循环类似下文:
以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生...
分类：
Web程序 时间：
2014-11-20 12:04:07
阅读次数：
329
避免被禁止(ban)
有些网站实现了特定的机制，以一定规则来避免被爬虫爬取。 与这些规则打交道并不容易，需要技巧，有时候也需要些特别的基础。 如果有疑问请考虑联系 商业支持 。
下面是些处理这些站点的建议(tips):
使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)禁止cookies(参考 ...
分类：
其他好文 时间：
2014-11-20 12:02:41
阅读次数：
239
爬虫总体性能不错，能完成基本的网络数据爬取，没有功能上的缺陷。下图为饿了么网站商户信息爬取结果及原网站信息。大部分信息是正确的，但也有一些错误。比如下图，小渝馆家常菜和渝码头川菜位置爬取错了。再比如鑫蜀轩酒楼和久久丫的顺序错了。quantity_sold这一项，有的没有数据，是网站标签的问题，不是爬...
分类：
其他好文 时间：
2014-11-19 20:18:35
阅读次数：
161
使用python爬取medsci上的期刊信息，通过设定条件，然后获取相应的期刊的的影响因子排名，期刊名称，英文全称和影响因子。主要过程如下：首先，通过分析网站http://www.medsci.cn/sci。当点击“我要查询”时，网页会发送一个POST消息给服务器，然后服务器返回查询结果然后，将查询...
分类：
编程语言 时间：
2014-11-19 00:28:25
阅读次数：
302
姓名今日任务明日任务黄新越按照热度排序->产生柱状图按照热度排序->产生柱状图刘垚鹏1增设选择网址txt文件按钮，原本的yes+start按钮弹出选择文件框设计不友好2没有网址或者没有输入数字都会出异常但是无法弹出窗口提示用户的bug修复总体代码架构整合王骜记录爬取时间并且实时动态显示：爬取成功网页...
分类：
其他好文 时间：
2014-11-13 22:01:24
阅读次数：
206
任务分配如下：姓名今日任务明日任务黄新越按照热度排序->产生柱状图按照热度排序->产生柱状图刘垚鹏聚集型)关键字爬取：借助baidu、bing、gfsoso等搜索引擎完成爬取(通用型)链接爬取：已经实现(综合型)链接+关键字爬取:通过提取网页内容，搜索相应关键字信息来判断是否将其添加到数据库中同时完...
分类：
其他好文 时间：
2014-11-12 22:32:54
阅读次数：
270
任务分配情况如下：姓名今日任务明日任务黄新越按照热度排序->产生柱状图按照热度排序->产生柱状图刘垚鹏(聚集型)关键字爬取：借助baidu、bing、gfsoso等搜索引擎完成爬取(通用型)链接爬取：已经实现(综合型)链接+关键字爬取:通过提取网页内容，搜索相应关键字信息来判断是否将其添加到数据库中...
分类：
其他好文 时间：
2014-11-11 22:33:01
阅读次数：
309
最近看scrappy0.24官方文档看的正心烦的时候，意外发现中文翻译0.24文档，简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/ ????结合官方文档例子，简单整理一下： import?scrapy
from...
分类：
编程语言 时间：
2014-11-10 18:17:09
阅读次数：
251
任务分配如下：姓名今日任务明日任务黄新越按照热度排序->产生柱状图按照热度排序->产生柱状图刘垚鹏1增设选择网址txt文件按钮2没有网址或者没有输入数字都会出异常但是无法弹出窗口提示用户的bug修复(聚集型)关键字爬取：借助baidu、bing、gfsoso等搜索引擎 (通用型)链接爬取：已经实.....
分类：
其他好文 时间：
2014-11-10 17:43:05
阅读次数：
180
