quartz 概述 特点 强大的调度功能 灵活的应用方式 分布式和集群能力 用到的设计模式 Builder 模式 factory模式 组件模式 链式写法 体系结构 调度器 任务 触发器 架构图 spring boot quartz pom配置 编写job类 编写quartz定义类 ...
分类：
编程语言 时间：
2019-01-01 21:13:24
阅读次数：
231
实验拓扑图：在负载均衡调度器安装ipvsadm组件yuminstall-yipvsadm备注：我们在配置RealServer的IP时一定要将网关指向调度器的DIP在node-1创建test页面，并重启服务在node-2创建test页面，并重启服务使用浏览器分别对两台webserver进行测试备注：因为我们要验证都在均衡调度器的功能，所以这里故意让两台RealServer的测试web页面内容不同打开
分类：
其他好文 时间：
2018-12-31 21:13:51
阅读次数：
255
恢复内容开始 恢复内容结束 scrapy的运作流程 1，引擎：hi，spider，你要处理哪一个网站？ spider：老大我要处理XXXX.com。 1，引擎：你把第一个需要处理的url交给我吧。 spider：给你，第一个url是xxx.com 1，引擎：hi，调度器，我这儿有个request请求 ...
分类：
其他好文 时间：
2018-12-28 16:41:38
阅读次数：
198
创建集群服务器 添加真实服务器 查看规则列表，并保存规则 ...
分类：
其他好文 时间：
2018-12-28 15:31:17
阅读次数：
171
Engine：引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。 Item：项目，定义爬虫结果的数据结构，爬去的数据被赋值为该item对象。 Scheduler：调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求时将请求提供给引擎。 Downloader：下载器，下载网页内容，并 ...
分类：
其他好文 时间：
2018-12-25 20:19:34
阅读次数：
126
一.Scrapy框架是基于Twisted的异步框架，纯Python实现的爬虫框架，耦合程度低，可拓展性极强。 1.Engine引擎，处理整个系统的数据流、触发事物、框架的核心 2.item项目，定义爬虫爬取结果的数据结构，爬取的数据会被赋值成该item对象 3.Schedule调度器，接受engin ...
分类：
其他好文 时间：
2018-12-21 21:18:50
阅读次数：
362
sleep：使当前线程进入指定毫秒数的休眠，暂停执行，最终要以系统的定时器和调度器的精度为准； 休眠时，其不会放弃monitor锁的所有权； 强烈建议使用TimeUnit替代sleep； yield：提醒调度器我愿意放弃当前CPU资源，如果CPU资源不紧张，则会忽略这种提醒； 一般这个方法不常用； ...
分类：
编程语言 时间：
2018-12-21 13:21:23
阅读次数：
202
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 ...
分类：
其他好文 时间：
2018-12-18 19:55:58
阅读次数：
199
[client] password= your_passwordport= 3306 socket= /tmp/mysql.sock!includedir /opt/local/mysql/wsrep The MySQL s ...
分类：
数据库 时间：
2018-12-16 19:36:05
阅读次数：
192
DR模式1.安装yuminstall-yipvsadmlsmod|grepip_vs//此处ipvsadm还没被加入内核ipvsadm//载入ipvsadm命令到内核//手动配置lvs服务1>负载均衡调度器配置vipifconfigeth0:121.68.9.200netmask255.255.254.02>ipvsadm添加lvs服务ipvsadm-C//请用LVS原有的配置ipvs
分类：
系统相关 时间：
2018-12-14 21:13:25
阅读次数：
165
