[TOC] 一、APScheduler 是什么&APScheduler四种组成部分？ APScheduler全程为Advanced Python Scheduler，是一款轻量级的Python任务调度框架。它允许你像Cron那样安排定期执行的任务，并且支持Python函数或任意可调用的对象。 1、调 ...
分类：
编程语言 时间：
2020-01-11 10:06:24
阅读次数：
102
爬虫学习 17.基于scrapy redis两种形式的分布式爬虫 redis分布式部署 1.scrapy框架是否可以自己实现分布式？ 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一 ...
分类：
其他好文 时间：
2020-01-10 22:14:46
阅读次数：
103
#查看数据库的event功能是否开启 因为在数据库中的event默认是关闭的 show VARIABLES LIKE '%sche%'; #如果value显示为off或者0说明是关闭的，这时我们需要手动打开定时器 SET GLOBAL event_scheduler = 1; #创建测试表 crea ...
分类：
数据库 时间：
2020-01-10 12:18:26
阅读次数：
71
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides ...
分类：
其他好文 时间：
2020-01-08 20:48:59
阅读次数：
77
SpringBoot集成SpringScheduler和QuartzScheduler的基础知识，利用ShedLock解决SpringScheduler多实例运行冲突，动态创建QuartzJob，Quartz ScheduleBuilder、Calendar
分类：
编程语言 时间：
2020-01-05 22:38:31
阅读次数：
490
1.组件详解 功能：托管和管理虚拟主机 选主机： 用户请求 -> nova-api -> queue -> nova-scheduler -> nova-db(过滤+权重) -> nova-scheduler -> queue 创建VM： nova-compute -> queue -> nova- ...
分类：
其他好文 时间：
2020-01-05 11:50:29
阅读次数：
92
kubectl:k8s是命令行端，用来发送客户的操作指令。APIserver:是k8s集群的前端接口，各种客户端工具以及k8s的其他组件可以通过它管理k8s集群的各种资源。它提供了HTTP/HTTPSRESTfulAPI,即K8SAPI.Scheduler:负责决定将Pod放在哪个Node上运行。在调度时，会充分考虑集群的拓扑结构，当前各个节点的负载情况，以及应对高可用、性能、数据亲和性和需求。C
分类：
其他好文 时间：
2020-01-05 10:08:04
阅读次数：
132
Kubernetes集群包含节点代理kubelet和master组件，一切都基于分布式的存储系统。kubernetes集群的架构图如下：1）客户端工具kubectl：客户端工具，用于发送客户端的指令。2）master节点APIserver：提供了资源的唯一如后，并提供了认证、授权、访问控制、API注册与发现等机制；Scheduler：负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上；C
分类：
Web程序 时间：
2020-01-05 00:22:40
阅读次数：
106
1. Spider Middleware Spider Middleware是介入到Scrapy的Spider处理机制的钩子框架。 当Downloader生成Response之后，Response会被发送给Spider，在发送给Spider之前，Response会首先经过Spider Middlew ...
分类：
其他好文 时间：
2020-01-04 22:04:22
阅读次数：
85
这是昨天晚上阅读园子里的2篇 k8s 博文时产生的想法，在随笔中记录一下。如果我们把 node 当作女方，pod 当作南方，scheduler 当作媒人，从相亲的角度理解这3个概念，不仅豁然开朗，而且很容易记住。`node affinity` 就是女方告诉媒人自己喜欢什么类型的男生，介绍这些类型的男... ...
分类：
其他好文 时间：
2020-01-04 14:41:05
阅读次数：
113
