Scrapy是什么？ scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，就能够快速的抓取到数据内容。Scrapy 使用了 Twisted['tw?st?d](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步 ...
分类：
其他好文 时间：
2019-01-11 12:11:04
阅读次数：
377
scrapy框架简介个基础应用 简介 一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。 所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。 对于框架的学习，重点是要学习其 ...
分类：
其他好文 时间：
2019-01-10 16:26:42
阅读次数：
146
桥接适用于把抽象化和实现化解耦，使得二者可以独立变化。这种类型的设计模式属于结构性模式，它通过提供抽象化和实现化之间的桥接结构，来实现二者的解耦 ...
分类：
编程语言 时间：
2019-01-10 13:15:52
阅读次数：
172
1.安装：要是说到爬虫，我们不得不提一个大而全的爬虫组件/框架，这个框架就是scrapy：scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。那么我们直接进入正题，先说说这个框架的两种安装方式： 第一种：windows环 ...
分类：
其他好文 时间：
2019-01-06 19:21:32
阅读次数：
190
适配器模式是作为两个不兼容的接口之间的桥梁。这种类型的设计模糊属于结构性模式，它结合了两个独立接口的功能 ...
分类：
编程语言 时间：
2019-01-06 15:41:20
阅读次数：
188
XML 可扩展标记语言 可扩展标记语言，标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。 在电子计算机中，标记指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种的信息比如文章等。 语法： 头部标记 : <?xml version="1.0" encoding ...
分类：
其他好文 时间：
2019-01-01 21:06:32
阅读次数：
145
什么是树 在计算器科学中， 树 （英语：tree）是一种抽象数据类型（ADT）或是实现这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n 0）个有限节点组成一个具有层次关系的集合。 树的特点 ? 每个节点有零个或多个子节点； ? 没有父节点的节点称为根节点； ? 每一个非根 ...
分类：
编程语言 时间：
2018-12-27 13:17:52
阅读次数：
250
Scrapy Scrapy 是一个位了爬取网站数据，提取数据结构性数据而编写的应用框架，少量代码，就能快速爬取，使用了Twisted 异步网络框架，加快我们下载速度! 工作流程 制作 Scrapy 爬虫 一共需要4步： 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项 ...
分类：
其他好文 时间：
2018-12-24 22:04:44
阅读次数：
198
原理：XML外部实体注入，简称XXE漏洞，XML数据在传输中数据被修改，服务器执行被恶意插入的代码。当允许引用外部实体时，通过构造恶意内容，就可能导致任意文件读取、系统命令执行、内网端口探测、攻击内网网站等危害。 XML简介：XML用于标记电子文件使其具有结构性的标记语言，可以用来标记数据，定义数据 ...
分类：
其他好文 时间：
2018-12-24 12:35:03
阅读次数：
179
代理模式(Proxy Pattern) ： 给某一个对象提供一个代 理，并由代理对象控制对原对象的引用。代理模式的英 文叫做Proxy或Surrogate，它是一种对象结构型模式 模式动机： 在某些情况下，一个客户不想或者不能直接引用一个对 象，此时可以通过一个称之为“代理”的第三者来实现 间接引用 ...
分类：
Web程序 时间：
2018-12-18 11:10:17
阅读次数：
174
