直接从数据流的角度来说比较容易理解： ·1、Spider创建一个初识url请求，把这个请求通过Engine转给Scheduler调度模块。然后Scheduler向Engine提供一个请求（这个请求是一个真实的url请求） 疑问点一：为什么Engine把请求发给Scheduler模块，然后又从Sche ...
分类：
其他好文 时间：
2018-11-10 15:13:13
阅读次数：
156
-- 批量删除job declare v_exist number(2); -- job是否存在 begin for x in 1..8 LOOP select count(1) into v_exist from user_scheduler_jobs WHERE job_name = 'PROC... ...
分类：
数据库 时间：
2018-11-08 14:21:01
阅读次数：
683
text-decoration：over-line 定义上划线 text-decoration：line-through 定义删除线 text-decoration：underline 定义下划线 text-decoration：blink 定义闪烁文本 text-decoration：none 无 ...
分类：
其他好文 时间：
2018-11-06 13:39:03
阅读次数：
186
整个OpenStack是由控制节点，计算节点，网络节点，存储节点四大部分组成。上篇博文详细讲述了控制节点服务controller中的horizon组件，本篇博文将详解存储节点cinder的部署。分为两部分：控制节点和存储节点OpenStack存储节点架构存储节点包含Cinder，Swift等服务Cinder：块存储服务，提供相应的块存储，简单来说，就是虚拟出一块磁盘，可以挂载到相应的虚拟机之上，不
分类：
其他好文 时间：
2018-11-04 19:26:38
阅读次数：
256
默认情况下，scheduler会将pod调度到所有可用的Node，不过有些情况我们希望将 Pod 部署到指定的 Node，比如将有大量磁盘 I/O 的 Pod 部署到配置了 SSD 的 Node；或者 Pod 需要 GPU，需要运行在配置了 GPU 的节点上。 kubernetes通过label来实 ...
分类：
其他好文 时间：
2018-11-03 21:11:53
阅读次数：
260
一，介绍 1.scrapy框架为何不能实现分布式？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法 ...
分类：
其他好文 时间：
2018-11-02 23:44:09
阅读次数：
142
scrapy engine（引擎）：负责spider，ItemPipeline，Downloader，Scheduler中间的通讯，信号，数据传递等 Scheduler（调度器）：它负责接受引擎发送过来的request请求，并按照一定的方式进行整理排列，入队，当引擎需要是交还给引擎 Download ...
分类：
其他好文 时间：
2018-11-02 14:35:23
阅读次数：
314
什么是集群 一组通过高速网络互联的计算组,并以单一系统的模式加以管理 将很多服务器集中在一起,提供一种服务,在客户端看来就象是只有一个服务器 可以在付出较低成本的情况下获得在性能,可靠性,灵活性方面的相对较高的收益 任务调度是集群系统的核心技术 集群的目的 提高性能:计算密集应用,如天气预报,核试验 ...
分类：
其他好文 时间：
2018-11-02 01:57:44
阅读次数：
166
scrapy_redis是一个基于redis的scrapy组件，通过它可以快速实现简单的分布式爬虫程序，该组件主要提供三大功能： （1）dupefilter——URL去重规则（被调度器使用） （2）scheduler——调度器 （3）pipeline——数据持久化 一、安装redis 去官网下载re ...
分类：
其他好文 时间：
2018-10-29 11:54:12
阅读次数：
487
一、基本介绍： Quartz 是 OpenSymphony 开源组织在任务调度领域的一个开源项目，完全基于 Java 实现。该项目于 2009 年被 Terracotta 收购，目前是 Terracotta 旗下的一个项目。读者可以到 http://www.quartz-scheduler.org/ ...
分类：
其他好文 时间：
2018-10-24 16:48:06
阅读次数：
193
