scrapy的大文件下载（基于一种形式的管道类实现） 爬虫类中将解析到的图片地址存储到item，将item提交给指定的管道 在管道文件中导包： 基于 父类，自定义一个管道类 重写管道类中的如下三个方法： settings.py文件中 爬虫文件 ...
分类：
其他好文 时间：
2019-12-11 09:44:52
阅读次数：
168
爬虫07 /scrapy图片爬取、中间件、selenium在scrapy中的应用、CrawlSpider、分布式、增量式 [TOC] 1. scrapy图片的爬取/基于管道类实现 爬取流程： 1. 爬虫类中将解析到的图片地址存储到item，将item提交给指定的管道 2. 在管道文件中导包：from ...
分类：
其他好文 时间：
2019-12-11 09:25:01
阅读次数：
94
课程回顾: 并行:在同一时间点上多个任务同时执行 并发:在同一时间段上多个任务同时执行 进程的三大基本状态: 就绪状态:所有进程需要的资源都获取到了,除了CPU 执行状态:获取到了所有资源包括CPU,进程处于运行状态 阻塞状态:程序停滞不在运行,放弃CPU,进程此时处于内存里 什么叫进程? 正在运行 ...
分类：
系统相关 时间：
2019-12-11 09:18:21
阅读次数：
107
python 以前我一直用os.system()处理一些系统管理任务,因为我认为那是运行linux命令最简单的方式.我们能从Python官方文档里读到应该用subprocess 模块来运行系统命令.subprocess模块允许我们创建子进程,连接他们的输入/输出/错误管道，还有获得返回值。subpr ...
分类：
编程语言 时间：
2019-12-09 18:58:01
阅读次数：
87
一、字符串流 定义：字符串流（StringReader），以一个字符为数据源，来构造一个字符流。 作用：在Web开发中，我们经常要从服务器上获取数据，数据返回的格式通常一个字符串（XML、JSON），我们需要把这个字符串构造为一个字符流。然后再用第三方数据解析器来解析数据。 代码示例：计算一个字符串 ...
分类：
编程语言 时间：
2019-12-09 00:56:17
阅读次数：
172
进程之间的通信 预备知识： 1、用户态和内核态，当一个进程在执行用户自己的代码时处于用户运行态（用户态）；当一个进程因为系统调用陷入内核代码中执行时处于内核运行态（内核态）。 2、进程之间的通信（Inter Processs Communication-IPC）实现机制有：管道、消息队列、信号值、信 ...
分类：
系统相关 时间：
2019-12-08 10:53:32
阅读次数：
102
Linux操作系统编程开发 预备知识： 1、进程操作：Linux系统是多任务的操作系统，采用进程作为任务调度的单位，进程在Linux系统下的概念是程序代码的一次执行，包括运行的代码和运行需要的数据、参数等资源。 2、进程和程序的区别：一方面：在Linux系统下，进程是程序代码的执行，所以程序是一段运 ...
分类：
系统相关 时间：
2019-12-08 10:27:51
阅读次数：
76
shell read简介 要与Linux交互，脚本获取键盘输入的结果是必不可少的，read可以读取键盘输入的字符。 shell作为一门语言，自然也具有读数据的功能，read就是按行从文件(或标准输入或给定文件描述符)中读取数据的最佳选择。当使用管道、重定向方式组合命令时感觉达不到自己的需求时，不妨考 ...
分类：
系统相关 时间：
2019-12-08 01:06:17
阅读次数：
103
有需要学习交流的友人请加入swoole交流群的咱们一起，有问题一起交流，一起进步！前提是你是学技术的。感谢阅读！ 点此加入该群 swoole如何处理高并发 ①Reactor模型介绍 IO复用异步非阻塞程序使用经典的Reactor模型，Reactor顾名思义就是反应堆的意思，它本身不处理任何数据收发。 ...
分类：
其他好文 时间：
2019-12-07 16:23:04
阅读次数：
99
爬取百度贴吧的网页 非并发版 并发版 这个只是在上面的基础上加了管道和开了协程 ...
分类：
其他好文 时间：
2019-12-07 14:37:23
阅读次数：
76
