1 在启动类上添加：@EnableScheduling // 开启定时任务 2 实现调度器 3 具体任务 4定时配置表 5配置实例数据 ...
分类：
编程语言 时间：
2019-10-11 18:20:54
阅读次数：
102
什么叫做分布式爬虫？ 分布式爬虫，就是多台机器共用一个scrapy—redis程序高效爬取数据， 为啥要用分布式爬虫？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的 ...
分类：
其他好文 时间：
2019-10-09 23:47:49
阅读次数：
104
准备多台服务器，现以三台服务器为例第一台做调度器 192.168.200.111[root@localhost ~]# iptables -F[root@localhost ~]# setenforce 0[root@localhost ~]# systemctl stop firewalld[ro ...
分类：
其他好文 时间：
2019-10-09 15:31:56
阅读次数：
93
scrapy简介 ? Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中 scrapy的执行流程 Scrapy主要包括了以下组件： 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器( ...
分类：
其他好文 时间：
2019-10-08 18:40:12
阅读次数：
80
实验环境：一台调度器和两台web主机 所有机器关闭防火墙及linux安全机制 iptables -F systemctl stop firewalld setenforce 0 配置调度器： 1.安装ipvsadm服务 yum -y install ipvsadm 2.配置负载调度器 ifconfi ...
分类：
其他好文 时间：
2019-10-07 17:31:56
阅读次数：
91
首先准备三台虚拟机（一台调度器，两台服务器） 一、三台主机关闭防火墙和安全机制 二、配置负载调度器 1、配置虚拟IP地址（VIP）采用虚拟接口的方式（ens32:0），为网卡ens32绑定VIP地址，以便响应群集访问。 2、配置负载分配策略 三、配置节点服务器（以一台节点服务器为例） 使用DR模式时 ...
分类：
其他好文 时间：
2019-10-07 11:32:23
阅读次数：
116
1）准备三台虚拟机 server1 192.168.200.111 LVS负载调度器 server2 192.168.200.112 WEB主机（节点服务器） server3 192.168.200.113 WEB主机（节点服务器） 2）所有主机关闭防火墙和 selinux [root@localh ...
分类：
其他好文 时间：
2019-10-06 13:38:36
阅读次数：
90
Quartz是一款开源的任务调度框架，对任务调度过程进行了高度的抽象，包含调度器（Scheduler），任务（Job）和触发器（Trigger）。Quartz在org.quartz.*中通过接口和类对这三个概念进行了描述（这里使用的Quartz版本为1.8.6）： Job：一个简单的接口，只包含一个 ...
分类：
其他好文 时间：
2019-10-06 11:26:54
阅读次数：
61
scrapy框架之进阶 五大核心组件 - 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) - 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下 ...
分类：
其他好文 时间：
2019-10-05 14:26:42
阅读次数：
82
nginx 从1.9版本开始支持基于TCP/UDP的四层调度,在编译nginx时使用--with-stream开启该模块 支持TCP/UDP调度时,支持给所有的软件做调度器,例如:nfs smb ftp dns 等等... 在编译时: ./configure --with-http_ssl_modu ...
分类：
其他好文 时间：
2019-10-04 09:29:23
阅读次数：
117
