介绍 以前我们写爬虫，要导入和操作不同的模块，比如requests模块、gevent库、csv模块等。而在Scrapy里，你不需要这么做，因为很多爬虫需要涉及的功能，比如麻烦的异步，在Scrapy框架都自动实现了。 我们之前编写爬虫的方式，相当于在一个个地在拼零件，拼成一辆能跑的车。而Scrapy框 ...
分类：
其他好文 时间：
2020-01-31 00:59:54
阅读次数：
91
进程间通信原因因为每一个进程都是拥有一个独立的虚拟地址空间的，促使进程独立，导致了进程之间需要协作。进程间通信分为数据传输-----管道，消息队列数据共享-----共享内存进程控制-----信号量首先先谈谈管道和共享内存管道---匿名管道，命名管道本质：管道其实就是一块内存，是内核当中的缓冲区匿名管道---没有标识特性：具有亲缘关系的进程间通信半双工，数据只能有一个流向提供字节流服务自带同步与互斥
分类：
系统相关 时间：
2020-01-30 12:54:12
阅读次数：
109
zookeeper是作为一个数据管道存储kafka消息队列，上一篇已经解决怎样部署一个zookeeper集群，基于zookeeper集群基础上，本篇介绍怎样部署kafka集群。 mv kafka_2.13-2.4.0.tgz /usr/local tar -zxvf kafka_2.11-2.4.0 ...
分类：
其他好文 时间：
2020-01-30 11:20:41
阅读次数：
140
尽管在 Linux 系统中一切都是文件，但是每个文件的类型不尽相同，因此 Linux 系统使 用了不同的字符来加以区分，常见的字符如下所示。 -：普通文件. d：目录文件. l：链接文件. b：块设备文件. c：字符设备文件. p：管道文件. 在 Linux 系统中，每个文件都有所属的所有者和所有组 ...
分类：
系统相关 时间：
2020-01-29 16:16:14
阅读次数：
152
基于流的管道实际上就是一种全双工管道，它必须在基于流的系统上才能实现，Linux 默认对它是不支持的，而同样的逻辑，我们通常可以用基于 UNIX domain 的 socket 来实现，所以这里对它只作简单介绍。17.2 UNIX域套接字12//使用他们面向网络的域的套接字借口或者使用socketp... ...
分类：
系统相关 时间：
2020-01-29 12:11:44
阅读次数：
83
高级操作 讲解关于mongodb的高级操作，包括聚合、主从复制、分片、备份与恢复、MR 完成python与mongodb的交互 2.1、聚合 aggregate 聚合(aggregate)主要用于计算数据，类似sql中的sum()、avg() 语法 db.集合名称.aggregate([{管道:{表 ...
分类：
数据库 时间：
2020-01-29 10:59:28
阅读次数：
116
进程间通信： 1、进程间的数据共享： 管道、 消息队列、 共享内存、 Unix域套接字 易用性： 消息队列 > Unix域套接字 > 管道 > 共享内存（经常与信号量一起用） 效 率： 共享内存 > Unix域套接字 > 管道 > 消息队列 常 用： 共享内存、Unix域套接字 2、异步通信 信号 ...
分类：
系统相关 时间：
2020-01-29 10:55:58
阅读次数：
87
IfcPlumbingFireProtectionDomain是IFC模型的域层的一部分。它扩展了IfcSharedBldgServicesElements中概述的有关构建服务的思想。它定义了管道和消防领域的概念。 IfcPlumbingFireProtectionDomain与其他建筑服务相关方案 ...
分类：
其他好文 时间：
2020-01-29 10:39:23
阅读次数：
68
1. 复制多份文件 将文件src复制3份，分布名为dest1, dest2, dest3 xargs 可以将管道或标准输入（stdin）数据转换成命令行参数，也能够从文件的输出中读取数据。 somecommand |xargs item command n num 后面加次数，表示命令在执行的时候一 ...
分类：
系统相关 时间：
2020-01-29 10:28:02
阅读次数：
77
IfcHvacDomain定义了供暖、通风和空调（HVAC）领域内互操作性所需的基本对象概念。它扩展了IfcSharedBldgServiceElements中定义的概念。 IfcHvacDomain架构的范围定义为： ①构成管道和管道分配系统的管段、配件和连接件，通常用于建筑设施，如空调、通风和排 ...
分类：
其他好文 时间：
2020-01-28 09:42:14
阅读次数：
80
