Thread pools & Executors Run your concurrent code in a performant way All about thread pools # How do I use the thread pools? # Wangle provides two co ...
分类:
其他好文 时间:
2018-07-24 13:59:42
阅读次数:
309
scrapy-redis是一个基于redis的scrapy组件,通过它可以快速实现简单分布式爬虫程序,该组件本质上提供了三大功能: scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 scrapy-redis组件 1. URL去 ...
分类:
其他好文 时间:
2018-07-23 15:04:15
阅读次数:
208
基本FIFO队列:先进先出。 calss Queue.Queue(maxsize=0) maxsize是个整数,指明了队列中能存放的数据个数的上限。一旦达到上限,插入会导致阻塞,直到队列中的数据被消费掉。 LIFO队列:后进先出 class Queue.LifoQueue(maxsize=0) 结果 ...
分类:
编程语言 时间:
2018-07-17 23:19:41
阅读次数:
213
栈和队列是两种应用非常广泛的数据结构,它们都来自线性表数据结构,都是“操作受限”的线性表。 栈的概念 栈(Stack):是限制在表的一端进行插入和删除操作的线性表。又称为后进先出LIFO (Last In First Out)或先进后出FILO (First In Last Out)线性表。 栈顶( ...
分类:
其他好文 时间:
2018-07-14 10:27:01
阅读次数:
164
简介 Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule), 并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码, 将scrapy变 ...
分类:
其他好文 时间:
2018-07-04 17:35:45
阅读次数:
169
针对Golang1.9的sync.Mutex进行分析,与Golang1.10基本一样除了将panic改为了throw之外其他的都一样。源代码位置:sync\mutex.go。可以看到注释如下:Mutexcanbein2modesofoperations:normalandstarvation.InnormalmodewaitersarequeuedinFIFOorder,butawokenupwa
分类:
其他好文 时间:
2018-07-01 20:28:49
阅读次数:
182
js中一切皆对象,所有对象有的方法在数组中都可以使用,下面来介绍一些常用方法 这里将来方法分为七种分别为:栈方法,队列方法,重排序方法,操作方法,位置方法,迭代方法,归并方法 一、栈方法 :模拟类似栈的LIFO(Last-In-First-Out)数据结构的一些方法 var fruits = [ " ...
分类:
编程语言 时间:
2018-06-30 18:50:14
阅读次数:
161
BlockingQueue讲解:1BlockingQueue概述:BlocingQueue,顾名思义:<fontcolor=red>阻塞队列</font>.BlockingQueue是在java.util.concurrent下的,因此不难理解,BlockingQueue是为了解决多线程中数据高效安全传输而提出的。阻塞队列所谓的“阻塞”,指的是<fontcolor=r
分类:
其他好文 时间:
2018-06-29 19:22:55
阅读次数:
172
在嵌入式开发中,处理器有两种:微控制器和微处理器。那么这两种处理器有何区别呢?微控制器 = CPU + 片内内存 + 片内外设;微处理器 = CPU。在以前嵌入式硬件资源很少时,它们的区别对于硬件工程师来说还是很大的。但是在现代的嵌入式中,它们的概念都差不多了。相对来说,微控制器具有成本低,功耗低等优点,常用于嵌入式系统设计;对于软件工程师而言,微控制器和微处理器没有任何区别。?下来我们来看看寄存器的分类:CPU 寄存器和外设寄存器。CPU 寄存器是指专用指令执行、数据运算、变量处理以及参数传递;外设寄存器是指用于控制外设的行为和工作方式,寄存器值得配置需要根据芯片手册完成。在处理器中关键寄存器:PC - 重新计数器(指令指针 IP)和 SP - 栈指针(Stack Pointer)。PC 程序计数器的特性,每执行一条指令,PC 中的值就会发生变化,PC 时钟保存下一条 CPU 要执行的指令地址。SP栈指针的特性,始终指向栈空间的顶端,实现 LIFO 特性,保存中断断点、函数调用返回点以及 CPU 现场数据等。
分类:
其他好文 时间:
2018-06-27 11:30:58
阅读次数:
231
Python3 多线程,多线程类似于同时执行多个不同程序,多线程运行有如下优点: 使用线程可以把占据长时间的程序中的任务放到后台去处理。 用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度 程序的运行速度可能加快 在一些等待的任务实现上如用户输 ...
分类:
编程语言 时间:
2018-06-19 22:55:31
阅读次数:
214