本文是《Go语言调度器源代码情景分析》系列的第15篇，也是第二章的第5小节。 上一节我们说过main goroutine退出时会直接执行exit系统调用退出整个进程，而非main goroutine退出时则会进入goexit函数完成最后的清理工作，本小节我们首先就来验证一下非main gorouti ...
分类：
其他好文 时间：
2019-05-13 16:18:10
阅读次数：
111
本文供个人学习，复习使用，不适合他人阅读 接上文讲到ActionProxy了，还不知道这个类的作用，名字是action的代理类，实际上作用还得看看。 ExecuteOperations类 execute.executeAction调用了调度器处理action请求，看下文具体讲serviceAcito ...
分类：
其他好文 时间：
2019-05-11 09:30:49
阅读次数：
109
redis分布式部署 scrapy框架是否可以自己实现分布式？ 基于scrapy-redis组件的分布式爬虫 scrapy-redis组件中为我们封装好了可以被多台机器共享的调度器和管道，我们可以直接使用并实现分布式数据爬取。 搭建流程 实现方式： 分布式实现流程：上述两种不同方式的分布式实现流程是 ...
分类：
其他好文 时间：
2019-05-09 21:54:21
阅读次数：
133
[TOC] 基于scrapy redis两种形式的分布式爬虫 1.scrapy框架是否可以自己实现分布式？ 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器 ...
分类：
其他好文 时间：
2019-05-04 18:50:32
阅读次数：
118
内核介绍 内核处于硬件层之上，内核部分包括内核库、实时内核实现。 实时内核的实现包括：对象管理、线程管理及调度器、线程间通信管理、时钟管理及内存管理等等，内核最小的资源占用情况是 3KB ROM，1.2KB RAM。 实时内核的实现包括：对象管理、线程管理及调度器、线程间通信管理、时钟管理及内存管理 ...
分类：
其他好文 时间：
2019-05-03 11:47:42
阅读次数：
152
一、LVS-NAT模式的工作原理这个是通过网络地址转换的方法来实现调度的。首先调度器(LB)接收到客户的请求数据包时（请求的目的IP为VIP），根据调度算法决定将请求发送给哪个 后端的真实服务器（RS）。然后调度就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址（RIP）,这 ...
分类：
其他好文 时间：
2019-05-02 11:50:12
阅读次数：
152
go汇编格式跟前面讨论过的AT&T汇编基本上差不多，但也有些重要区别，本节就这些差异做一个简单说明。 ...
分类：
编程语言 时间：
2019-04-28 09:23:38
阅读次数：
142
@ "TOC" Quartz Quartz简介 强大的开源任务调度框架,纯java实现,精细控制排程 特点 强大的调度功能 灵活的应用方式 分布式和集群能力 主要用到的设计模式 Builder模式 Factory模式 组件模式 链式写法 三个核心概念 调度器 任务 触发器 重要组成 Job JobB ...
分类：
其他好文 时间：
2019-04-27 12:57:40
阅读次数：
160
1.概念： 观察者模式： 是属于设计者模式中的一种，一个目标对象管理所有相依于它的观察者对象，并且在它本身的状态改变时主动发出通知。 发布/订阅： 是一种消息范式，消息的发送者（称为发布者）不会将消息直接发送给特定的接收者（称为订阅者），而是通过调度器将消息发布给订阅者。 2.区别：下图明显可以看出 ...
分类：
编程语言 时间：
2019-04-22 00:55:34
阅读次数：
222
Yarn是为了解决MRv1中JobTracker负载过重，而设计的第二代MR运行架构。yarn是个master/slave结构，master节点运行Resourcemanager，slave节点运行nodemanager。RM主要有两个组件：资源调度器（scheduler）和应用程序管理器（ApplicationsManager）scheduler主要进行资源调度，不进行任何与应用程序相关的动作，
分类：
其他好文 时间：
2019-04-20 15:44:25
阅读次数：
280
