简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中，Scrapy用途广泛可以用于数据挖掘检测和自动化测试，Scrapy使用Twisted异步网络库来处理网络通信。 流程图 调度器把request对象交给引擎，引擎负责把r ...
分类：
其他好文 时间：
2019-07-27 23:41:48
阅读次数：
116
一、包： 包的本质就是一个模块 什么是包：它是一系列模块文件的结合体，表示形式就是一个文件夹，该文件夹内部通常会有一个__init__..py的文件 导入包的过程：先产生一个执行文件的名称空间 1：创建包下面的__init__.py文件的名称空间 2：执行包下面的__init__.py文件中的代码， ...
分类：
其他好文 时间：
2019-07-20 00:06:38
阅读次数：
102
一、包 1.什么是包？ 他是一系列文件的结合体，表示形式就是一个文件夹，该文件夹内部通常会有一个__init__.py文件，创建包的目的不是为了运行，而是被导入使用，包只是一种形式而已，包的本质就是一种模块。 2.包的作用？ 包的本质就是一个文件夹，那么文件夹唯一的功能就是将文件组织起来，随着功能越 ...
分类：
其他好文 时间：
2019-07-19 20:24:39
阅读次数：
113
一、JDK中的设计模式 (1)结构性模式 1.适配器模式 java.util.Arrays#asList() java.io.InputStreamReader(InputStream) java.io.OutputStreamWriter(OutputStream) java.xml.bind.a ...
分类：
编程语言 时间：
2019-07-18 23:44:00
阅读次数：
142
B端硬件产品需求分析过程B端硬件产品管理首要环节是需求收集过程。需求收集过程涉及到的干系人不仅仅是最终用户，也包含了所有与产品直接或者间接关系的群体。这些群体可以分成两个核心主体：企业外部、企业内部。企业外部的产品诉求关联到客户、用户层，企业内部的产品诉求关联到管理层、运维、研发、生产等层面。不同层面的主体在产品需求方面期望实现的目标会不同。企业外部需求分析通过结构性的分析方法洞察客户的欲望、需求
分类：
其他好文 时间：
2019-07-16 16:49:03
阅读次数：
108
Date: 2019 07 17 Author: Sun 本节要讲解的内容有： （1）scrapy item数据封装 （2）scrapy管道处理 (3) scrapy 数据持久化 (4) scrapy下载项目文件和图片 一. Scrapy Item数据封装 ? 爬取的主要目标就是从非结构性的数据源提 ...
分类：
其他好文 时间：
2019-07-15 01:12:15
阅读次数：
93
Python进阶(十一) 包,logging模块 一丶包的使用 什么是包: ? 包是通过使用 .模块名的方式组织python模块名称空间的方式. 通俗来说,含有一个__init__.py文件的文件夹就是包. 包的作用: ? 将文件夹/模块组织起来,来提高程序的结构性和可维护性. ? 目的不是运行,为 ...
分类：
编程语言 时间：
2019-07-01 22:56:00
阅读次数：
131
Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。 Scrapy架构图(绿线是数据流向) S ...
分类：
其他好文 时间：
2019-07-01 12:12:01
阅读次数：
101
1.什么是XML xml即 Extensible Markup Language，中文叫可扩展标记语言，是一种具有结构性的标记语言。 2.Xml文档的构成 XML文档即用xml语言编写的文档，它包括以下几部分： 2.1XML元素 XML元素由一个开始标记和一个结束标记，以及开始和结束标记之间的数据组 ...
分类：
其他好文 时间：
2019-06-29 12:48:21
阅读次数：
160
从目的来看 创建型（Creational）模式：将对象的部分创建工作 延迟到子对象类或者其他对象，从而应对需求变化为对象创建具体实现类型引来的冲击。 结构性（Structural）模式：通过类继承或者对象组合获得灵活的类结构，从而应对需求变化为对象的结构带来的冲击。 行为型（Behavioral 模 ...
分类：
其他好文 时间：
2019-06-27 16:20:33
阅读次数：
115
