学任何一门技术，都应该带着目标去学习，目标就像一座灯塔，指引你前进，很多人学着学着就学放弃了，很大部分原因是没有明确目标，所以，在你准备学爬虫前，先问问自己为什么要学习爬虫。有些人是为了一份工作，有些人是为了好玩，也有些人是为了实现某个黑科技功能。不过 肯定的是，学会了爬虫，能给你的工作提供很多便利 ...
分类：
编程语言 时间：
2019-01-02 16:22:28
阅读次数：
161
1.进程是操作系统资源分配的最小单位，拥有独立的资源和地址空间 2.线程是CPU调度的单位 3.统一进程中的线程是资源共享的。 4.协程是用户级别的，程序之间的切换由用户自行处理，节省了CPU的调度时间。 ...
分类：
编程语言 时间：
2019-01-01 21:45:04
阅读次数：
217
yield from 协程如果一个生成器内部需要遍历另外一个生成器， 并将数据返给调用者， 你需要遍历并处理所遇到的异常， 而使用yield from 一行就可以处理这样的问题。 调用 yield from gen 时候我们无法判定我遍历了一个生成器还是调用了一个协程。这种混淆使得接口的设计者和使用 ...
分类：
编程语言 时间：
2018-12-31 17:17:10
阅读次数：
215
1. 背景 go代码中要实现异步很简单，go funcName()。 但是进程需要控制协程数量在合理范围内，对应大批量任务可以使用“协程池 + 无锁队列”实现。 2. golang无锁队列实现思路 Channel是Go中的一个核心类型，你可以把它看成一个管道，通过它并发核心单元就可以发送或者接收数据 ...
分类：
编程语言 时间：
2018-12-31 12:19:27
阅读次数：
383
什么是异步？ 含义 ：双方不需要共同的时钟，也就是接收方不知道发送方什么时候发送，所以在发送的信息中就要有提示接收方开始接收的信息，如开始位，同时在结束时有停止位 现象：没有共同的时钟，不考虑顺序来了就处理 直观感受：就是不用等了，效率高 同步 含义：指两个或两个以上随时间变化的量在变化过程中保持一 ...
分类：
编程语言 时间：
2018-12-30 19:00:17
阅读次数：
156
回调处理异步请求 回调 callback 处理异步官方例子 # 导入所需库 from tornado.httpclient import AsyncHTTPClient def asynchronous_fetch(url, callback): http_client = AsyncHTTPCli ...
分类：
其他好文 时间：
2018-12-30 18:56:08
阅读次数：
176
对于并发任务，通常是用生成消费模型，对队列的处理可以使用类似master-worker的方式，master主要用户获取队列的msg，worker用户处理消息。 为了简单起见，并且协程更适合单线程的方式，我们的主线程用来监听队列，子线程用于处理队列。这里使用redis的队列。主线程中有一个是无限循环， ...
分类：
其他好文 时间：
2018-12-27 18:22:08
阅读次数：
130
可惜，二和三现在还没有出来~ ~~~~~~~~~~~~~~~~~~~~~~~~~ http://python.jobbole.com/88291/ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ 在Python 3.3 引入yield from新语法之后，就不再推荐用yield去做协程。全都 ...
分类：
编程语言 时间：
2018-12-26 10:36:12
阅读次数：
201
1.并发的本质：切换+保存状态 cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制） 1.该任务发生了阻塞 2.该任务计算的时间过长或有一个优先级更高的程序替代了它 第二种情况并不能提升效率，只是为了让cpu能够雨露均沾，实现看起来所有任务都被“同时”执行的效果，如果 ...
分类：
编程语言 时间：
2018-12-25 20:21:26
阅读次数：
186
