提交任务的两种方式。 同步调用:提交完任务后,就在原地等待任务执行完毕,拿到结果,再执行下一行代码,导致程序是串行执行 异步调用:提交完任务后,不等待任务执行完毕 简单网页爬虫示例: ...
分类:
其他好文 时间:
2018-03-12 13:37:07
阅读次数:
134
事件驱动编程思想 范式: 一种写代码的方式 ,这里程序的执行是由外部事件来决定的。它的特点是包含一个事件循环,当外部事件发生时使用回调机制来触发相应的处理。 触发事件发送到队列,然后提取事件任务,发送到执行任务函数当CPU指令集为 0的时候对应的是内核态(拥有硬件,软件所有权限), 1为用户态用户态: 用户所运行的程序,?内核态: 操作系统进程阻塞:正在执行的进程,由于期待的事件未发生,
分类:
编程语言 时间:
2018-02-28 18:32:42
阅读次数:
208
收录一些未能在语法篇中介绍的语法和技术:单步调试技术,动态库与静态库,位运算, 排序与查找算法,函数指针与回调机制,以及一些杂项技术。 单步调试技术: 最基础也是最重要的技术 位操作: 移位、取反、与或,嵌入式及编解码itoshiki kuma领域的一门重要技术 中文问题: 中文编码、字符集,GBK ...
分类:
其他好文 时间:
2018-02-14 14:39:14
阅读次数:
172
阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任务,并不完全等 ...
分类:
编程语言 时间:
2018-01-24 16:57:48
阅读次数:
201
爬虫性能相关 阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任 ...
分类:
其他好文 时间:
2018-01-22 16:09:09
阅读次数:
191
阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任务,并不完全等 ...
分类:
其他好文 时间:
2018-01-22 16:08:20
阅读次数:
236
Archaius是Netflix公司开源项目之一,用于管理java配置。主要功能是对apache common configuration类库进行扩展。主要有一下特性: 动态获取属性 高效和线程安全的配置操作 配置改变时提供回调机制 可以通过jmx操作配置 复合配置 复合配置例子 Archaius的 ...
分类:
其他好文 时间:
2018-01-02 21:22:41
阅读次数:
169
将自己要做的事交给别人去做(这个别人就是代理者,自己就是被代理者),为什么自己能做的要交给别人去做了?假如一个小学生小明,现在要写作业,但是又想玩游戏,他更想玩游戏,并且不想被妈妈骂,所有他找了个天才枪手,小红给他代写作业,自己再去把作业交给妈妈检查。小明妈妈看见是小明交的作业,也就没怀疑不是他自己 ...
分类:
编程语言 时间:
2017-12-25 22:12:44
阅读次数:
212
Java中有很多个Timer,常用的有两个Timer类,一个java.util包下的Timer,一个是javax.swing包下的Timer,两个Timer类都有用到回调机制。可以使用它在到达指定时间间隔后发出通知,例如程序中有一个时钟,就可以每秒请求发送一个通知,以便更新时间显示。那么怎样通知Ti ...
分类:
编程语言 时间:
2017-12-04 00:49:21
阅读次数:
199
回调机制 import requests 需要 requests 模块的支持 需要回调函数的场景:进程池中任何一个任务一旦处理完了,就立即告知主进程:我好了额,你可以处理我的结果了。主进程则调用一个函数去处理该结果,该函数即回调函数 我们可以把耗时间(阻塞)的任务放到进程池中,然后指定回调函数(主进 ...
分类:
编程语言 时间:
2017-11-25 21:40:41
阅读次数:
207