1、工作原理 django通过urlconf来映射视图函数，只区分路径，不区分http方法 Django确定要使用的根URLconf模块，一般是在settings中的ROOT_URLCONF设置的值。 Django加载该URLconf模块并查找变量 urlpatterns，它是一个列表django. ...
分类：
Web程序 时间：
2020-07-06 16:00:17
阅读次数：
46
那么线程和进程究竟是怎么样的效率的关系呢？ 答：首先： 1、进程是程序的一次执行。 2、进程是资源分配的基本单位（调度单位）。 3、一个进程可以包括多个线程。 4、在单CPU计算机中，有一个资源是无法被多个程序并行使用的：CPU。 5、操作系统调度器：拆分CPU为一段段时间的运行片，轮流分配给不同的 ...
分类：
编程语言 时间：
2020-07-05 21:17:21
阅读次数：
85
如何实现分布式？ 安装一个scrapy-redis的组件 原生的scrapy是不可以实现分布式爬虫，必须要让scrapy结合着scrapy-redis组件一起实现分布式 为什么原生的scrapy不可以实现分布式？ 调度器不可以被分布式集群共享 管道不可以被分布式集群共享 scrapy-redis组件 ...
分类：
其他好文 时间：
2020-07-05 17:03:11
阅读次数：
62
一、简介JStorm是一个分布式实时计算引擎。JStorm是一个类似于Hadoop MapReduce的系统，用户按照指定的接口实现一个任务，然后将这个任务交给JStorm系统，JStorm将这个任务跑起来，并按7*24小时运行。如果中间一个worker发生了意外故障，调度器立即分配一个新的work ...
分类：
Web程序 时间：
2020-07-04 20:35:29
阅读次数：
54
GMV指标获取的全调度流程 import.job文件，第一步，从mysql导入数据 type=command do_date=${dt} command=/home/atguigu/bin/sqoop_import.sh all ${do_date} ods.job文件 type=command d ...
分类：
其他好文 时间：
2020-07-03 01:04:27
阅读次数：
73
Spark 源码解读（四）SparkContext的初始化之创建任务调度器TaskScheduler TaskScheduler负责任务任务的提交，并请求集群管理器对任务的调度。创建TaskScheduler的代码如下： val (sched, ts) = SparkContext.createTa ...
分类：
其他好文 时间：
2020-07-03 00:59:56
阅读次数：
63
runtime 调度器是个非常有用的东西，关于 runtime 包几个方法: Gosched：让当前线程让出 cpu 以让其它线程运行,它不会挂起当前线程，因此当前线程未来会继续执行 NumCPU：返回当前系统的 CPU 核数量 GOMAXPROCS：设置最大的可同时使用的 CPU 核数 Goexi ...
分类：
其他好文 时间：
2020-06-29 18:27:15
阅读次数：
65
**LVS：**linux virtual server，负载调度器，内核集成。VS根据请求报文的目标地址和目标协议及端口将其根据不同的调度算法调度转发至后端的RS VS：virtual server，负责调度 RS：real server，后端真正提供服务的机器 netfilter：内核空间上的框 ...
分类：
其他好文 时间：
2020-06-28 00:38:35
阅读次数：
76
高可用个数最好是大于3的个数 master scheduler 调度器，计算资源，调度到可用的node，交给apiserver ，apiserver写入etcd,kubelet实时读取 controller-manager 管理pod的期望数量，创建或删除pod apiserver 集群访问入口，收 ...
分类：
其他好文 时间：
2020-06-27 16:17:03
阅读次数：
56
注： 本篇文章主要集中在Linux CFS调度器源码解析。文章代码分析基于Linux-4.18.0。 一、进程的创建 进程的创建是通过do_fork()函数完成。新进程的诞生，我们调度核心层会通知调度类，调用特别的接口函数初始化新生儿。我们一路尾随do_fork()函数。do_fork() >_do ...
分类：
其他好文 时间：
2020-06-26 16:37:46
阅读次数：
70
