分布式爬虫概览何谓分布式爬虫？通俗的讲，分布式爬虫就是多台机器多个 spider 对多个 url 的同时处理问题，分布式的方式可以极大提高程序的抓取效率。构建分布式爬虫通畅需要考虑的问题（1）如何能保证多台机器同时抓取同一个URL？（2）如果某个节点挂掉，会不会影响其它节点，任务如何继续？（3）既然 ...
分类：
其他好文 时间：
2017-06-25 17:02:04
阅读次数：
114
一、新建工程scrapy
startprojectshop二、Items.py文件代码：importscrapyclass
ShopItem(scrapy.Item):title=scrapy.Field()time=scrapy.Field()三、shopspider.py文件爬虫代码#
-*-coding:UTF-8-*-importscrapyfromshop.items
importShopItemclass
shopSpider(scrapy.Spider)..
分类：
其他好文 时间：
2017-06-19 22:11:07
阅读次数：
735
什么是爬虫 我们先看看维基百科的定义 网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。 通俗的说爬虫就是通过一定的规则策略，自动抓取、下载互联网上网页，在按照某些规则算法对这些网页进行数据抽取、 索引。 像百度、谷歌、今日头条、包括各类新 ...
分类：
其他好文 时间：
2017-06-19 11:04:05
阅读次数：
295
介绍一下scrapy 爬虫框架 安装方法 pip install scrapy 就可以实现安装了。我自己用anaconda 命令为conda install scrapy。 1 Engine从Spider处获得爬取请求(Request)2Engine将爬取请求转发给Scheduler，用于调度 3 ...
分类：
编程语言 时间：
2017-06-17 20:41:38
阅读次数：
329
一般来说爬虫类框架抓取Ajax动态页面都是通过一些第三方的webkit库去手动执行html页面中的js代码， 最后将生产的html代码交给spider分析。本篇文章则是通过利用fiddler抓包获取json数据分析Ajax页面的具体请求内容，找到获取数据的接口url，直接调用该接口获取数据，省去了引 ...
分类：
移动开发 时间：
2017-06-16 13:29:47
阅读次数：
384
一、简介 Burp Spider 是一个映射 web 应用程序的工具。它使用多种智能技术对一个应用程序的内容和功能进行全面的清查。 Burp Spider 通过跟踪 HTML 和 JavaScript 以及提交的表单中的超链接来映射目标应用程序，它还使用了一些其他的线索，如目录列表，资源类型的注释， ...
分类：
其他好文 时间：
2017-06-15 12:54:51
阅读次数：
127
当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。 每个item pipeline组件(有时称之为“Item Pipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item ...
分类：
其他好文 时间：
2017-06-14 21:13:16
阅读次数：
274
Spiders Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 对spider来说，爬取的循环类似下文: 以初始的URL初 ...
分类：
其他好文 时间：
2017-06-14 18:44:43
阅读次数：
257
在scrapy项目中建一个与spider同级的python目录并在下面添加一个py文件内容为 ...
分类：
编程语言 时间：
2017-06-10 19:31:28
阅读次数：
413
可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。 如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls里的url。 可以使用 ...
分类：
其他好文 时间：
2017-06-09 11:50:53
阅读次数：
275
