0.简介 IPC工具分为3类： 通信：即进程间数据的交换。 同步：即进程和线程操作的先后顺序控制。 信号：可以作为进程间同步、数据交换的一种技术。 如图： 这些IPC工具在程序中使用，都有唯一的标识符进行区分，如下图： 这些IPC工具在程序中使用可访问和持久性如下表： 1.管道与FIFO 管道是非常 ...
分类：
系统相关 时间：
2020-10-14 20:52:37
阅读次数：
60
管道是一种通信机制，用于进程间的通信（也可通过socket进行网络通信），表现出来的形式将前面的每一个进程的输出，直接作为下一个进程的输入管道命令仅能处理stdout，而error则会忽略 顺序执行多条命令，可以用分号;cmd1;cmd2;cmd3条件执行多条命令，使用&&(前一个命令执行成功，即$ ...
分类：
系统相关 时间：
2020-10-14 20:12:26
阅读次数：
31
其实这次的内容我是想放在上一篇的博文中的，但是上次犯懒了，就放在这里了奥。 基于mysql持久化操作： 将爬取数据写入文件这种情况还是少见的，因为文件无论是内存占用还是读写速度都存在一定的瑕疵，所以我们更多的是操作数据库。因为items对象已经准备好了所以我们只需要进行pipeline管道更改就可以 ...
分类：
编程语言 时间：
2020-10-10 17:35:46
阅读次数：
25
Stream流 Stream API可以极大提高Java程序员的生产力，让程序员写出高效率、干净、简洁的代码。这种风格将要处理的元素集合看作一种流， 流在管道中传输， 并且可以在管道的节点上进行处理， 比如筛选， 排序，聚合等。元素流在管道中经过中间操作（intermediate operation ...
分类：
其他好文 时间：
2020-10-08 19:11:31
阅读次数：
17
1 ulimit 概述 1.1 概述 系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作? ulimit 是Linux在处理这些问题时，经常使用的一种简单手段。 ulimit 是一种 Linux 系统的内建功能，它具有一套参数集，用于为由 ...
分类：
系统相关 时间：
2020-10-06 21:21:47
阅读次数：
48
1、查看基本信息，32 位 ELF 程序，注意到是静态链接 运用 strings 工具发现了 UPX 字样 2、脱壳 3、载入 IDA 一个进程在由 pipe()创建管道后，一般再fork一个子进程，然后通过管道实现父子进程间的通信，管道两端可分别用描述字fd[0]以及fd[1]来描述，需要注意的是 ...
分类：
其他好文 时间：
2020-10-05 22:28:52
阅读次数：
31
https://www.jenkins.io/zh/doc/book/installing/ Jenkins是一个开源的自动化服务器，可以用来轻松地建立持续集成和持续交付(CI/CD)管道。 持续集成(CI)是一种DevOps实践，在这种实践中，团队成员定期将他们的代码更改提交到版本控制存储库，然后 ...
分类：
其他好文 时间：
2020-09-24 21:10:32
阅读次数：
43
基于Spider父类进行全站数据的爬取 全站数据的爬取:将所有页码对应的页面数据进行爬取 手动请求的发送(get): yield scrapy.Request(url,callback) 对yield的总结: 向管道提交item对象 yield item 手动请求发送 yield scrapy.Re ...
分类：
其他好文 时间：
2020-09-21 11:50:33
阅读次数：
45
scrapy下载图片 爬虫类中,将img_src作为item的属性yield即可 关键实现点在管道类里 导入一个图片的管道类 from scrapy.pipelines.images import ImagesPipeline 发请求 import scrapy 重写图片管道类的三个父类方法 get ...
分类：
其他好文 时间：
2020-09-21 11:50:07
阅读次数：
31
