Scrapy 的运作流程：代码写好，程序开始运行...引擎：Hi！Spider, 你要处理哪一个网站？Spider：老大要我处理 xxxx.com。引擎：你把第一个需要处理的 URL 给我吧。Spider：给你，第一个 URL 是 xxxxxxx.com。引擎：Hi！调度器，我这有 request ...
分类：
其他好文 时间：
2018-10-27 21:10:00
阅读次数：
120
参考： "OS中常用的调度算法总结" "调度算法的介绍及优缺点" linux进程（任务）调度算法 进程类型： 1. IO消耗型（交互） 2. 处理器消耗型（计算） 进程两种不同的优先级： 1. nice值，普通进程 2. 实时优先级，实时进程 调度器，目的是允许不同类型的进程可以有针对性地选择调度算 ...
分类：
编程语言 时间：
2018-10-27 00:07:15
阅读次数：
167
这篇文章中写了常用的下载中间件的用法和例子。Downloader Middleware处理的过程主要在调度器发送 requests请求的时候以及网页将 response结果返回给 spiders的时候，所以从这里我们可以知道下载中间件是介于 Scrapy的 request/response处理的钩子 ...
分类：
编程语言 时间：
2018-10-26 15:07:34
阅读次数：
192
0. 说明 官方文档 Job Scheduling Spark 调度核心组件: 1. DagScheduler direct acycle graph , 有向无环图调度器 高级调度器，面向的是 stage ，为每个 job 计算 stage 的 DAG 图，跟踪 RDD 和 stage 的输出，找 ...
分类：
其他好文 时间：
2018-10-26 00:43:30
阅读次数：
147
scrapy redis使用以及剖析 scrapy redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler 调度器 dupefilter URL去重规则（被调度器使用） pipeline 数据持久化 sc ...
分类：
其他好文 时间：
2018-10-21 21:59:22
阅读次数：
207
这篇文章中写了常用的下载中间件的用法和例子。Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候，所以从这里我们可以知道下载中间件是介于Scrapy的request/response处理的钩子，用于修改 ...
分类：
编程语言 时间：
2018-10-20 11:47:04
阅读次数：
244
1. 架构 引擎(Scrapy)：用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)：用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除 ...
分类：
编程语言 时间：
2018-10-19 02:26:07
阅读次数：
264
1.简介 本篇博客将详细讲解mysql的一些常用sql语句操作，例如创建数据库，删除数据库，创建表，修改表，删除表，以及简单查询案例。 2.关于mysql数据中的SQL的大小写问题 1.不区分大小写 1. sql中的关键字函数名 2. 存储过程、促存储函数、调度器 2.区分大小写 1. 库名、表名（ ...
分类：
数据库 时间：
2018-10-17 10:59:59
阅读次数：
173
# # Configure Main Scheduler Properties 调度器属性# # 在集群中每个实例都必须有一个唯一的instanceId，但是应该有一个相同的instanceNameorg.quartz.scheduler.instanceName = MyClusteredSche ...
分类：
其他好文 时间：
2018-10-15 14:30:12
阅读次数：
249
Scrapy主要有以下几个组件： 1，引擎（Scrapy） 用来处理整个系统的数据流，触发事务（框架核心） 2，调度器（Scheduler） 用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回，可以想象成一个url(抓取网页的网址或者说是链接)的优先队列，由它决定下一个要抓取的网址是什 ...
分类：
其他好文 时间：
2018-10-04 18:26:41
阅读次数：
180
