一 .scrapy https://www.cnblogs.com/wupeiqi/p/6229292.html 1.scrapy简介 2. 创建项目 创建： 爬虫项目的目录结构： ...
分类：
其他好文 时间：
2019-11-05 00:42:00
阅读次数：
65
目录 1. 概念讲解 2. 多任务异步协程理解 3.基于aiohttp模块异步网络请求实现数据爬取及数据解析 一、需要了解的概念 特殊函数：如果async修饰了一个函数的定义，那么该函数就变成了一个特殊函数， 特殊之处：特殊函数被调用后函数内部实现语句不会被立即执行 该函数调用之后会返回一个协程对象 ...
分类：
编程语言 时间：
2019-10-22 13:07:45
阅读次数：
124
NIO的使用 一）、什么叫NIO? 定义：是一套新的Java I/O标准， 在java1.4中被纳入JDK中。 二)、NIO的实现方法 NIO是基于块的， 以块为基本单位处理数据。 标准的I/O是基于流实现的，以字节为单位处理数据。 三）、NIO的特性 1）.为所有的原始类型特供Buffer支持 B ...
分类：
其他好文 时间：
2019-10-13 13:16:06
阅读次数：
56
关于Tornado的入门看这篇文章，写的非常好： https://zhuanlan.zhihu.com/p/37382503 Tornado 是一个Python web框架和异步网络库，使用非阻塞网络I/O。 Tornado可以被分为4个主要的部分: web框架 HTTP的客户端和服务端实现 异步网 ...
分类：
编程语言 时间：
2019-10-02 22:34:21
阅读次数：
114
异步与同步模型最大的区别是，同步模型会阻塞线程等待资源，而异步模型不会阻塞线程，它是等资源准备好后，再通知业务代码来完成后续的资源处理逻 辑。这种异步设计的方法，可以很好地解决IO等待的问题。 我们开发的绝大多数业务系统，它都是IO密集型系统。跟IO密集型系统相对的另一种系统叫计算密集型系 统。通过 ...
分类：
其他好文 时间：
2019-09-25 00:55:00
阅读次数：
92
AJAX是什么? AJAX不是JavaScript的规范，它只是一个哥们“发明”的缩写：Asynchronous JavaScript and XML，意思就是用JavaScript执行异步网络请求。 如何使用 在这段代码中,checkResult函数被作为回调函数被传递给xmlhttp的onrea ...
分类：
Web程序 时间：
2019-08-14 11:02:16
阅读次数：
116
简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中，Scrapy用途广泛可以用于数据挖掘检测和自动化测试，Scrapy使用Twisted异步网络库来处理网络通信。 流程图 调度器把request对象交给引擎，引擎负责把r ...
分类：
其他好文 时间：
2019-07-27 23:41:48
阅读次数：
116
比 Java 更具争议的 PHP，处处留坑？ 编程语言之争自古以来就从未停歇，对于有着“世界上最好的编程语言”之称的 PHP，表面看似赞扬，实则为讽刺。PHP 确实简单易上手，但是其函数命名不规范、核心异步网络不支持、后期维护困难等缺点，让不少开发者避之不及。不过，PHP 经过了这么多年的发展，还是 ...
分类：
编程语言 时间：
2019-05-19 22:04:38
阅读次数：
185
Scrapy是用python实现的一个为了爬取网站数据，提取结构性数据而编写的应用框架。使用Twisted高效异步网络框架来处理网络通信。 Scrapy架构： ScrapyEngine：引擎。负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 此组件相当于爬虫的“大脑”，是 整个爬虫 ...
分类：
编程语言 时间：
2019-03-23 22:08:20
阅读次数：
210
python中重要的模块--asyncio 一直对asyncio这个库比较感兴趣，毕竟这是官网也非常推荐的一个实现高并发的一个模块，python也是在python 3.4中引入了协程的概念。也通过这次整理更加深刻理解这个模块的使用 asyncio 是干什么的？ 异步网络操作并发协程python3.0 ...
分类：
编程语言 时间：
2019-03-13 13:52:36
阅读次数：
169
