Stream流 Stream API可以极大提高Java程序员的生产力，让程序员写出高效率、干净、简洁的代码。这种风格将要处理的元素集合看作一种流， 流在管道中传输， 并且可以在管道的节点上进行处理， 比如筛选， 排序，聚合等。元素流在管道中经过中间操作（intermediate operation ...
分类：
其他好文 时间：
2020-10-08 19:11:31
阅读次数：
17
1 ulimit 概述 1.1 概述 系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作? ulimit 是Linux在处理这些问题时，经常使用的一种简单手段。 ulimit 是一种 Linux 系统的内建功能，它具有一套参数集，用于为由 ...
分类：
系统相关 时间：
2020-10-06 21:21:47
阅读次数：
48
1、查看基本信息，32 位 ELF 程序，注意到是静态链接 运用 strings 工具发现了 UPX 字样 2、脱壳 3、载入 IDA 一个进程在由 pipe()创建管道后，一般再fork一个子进程，然后通过管道实现父子进程间的通信，管道两端可分别用描述字fd[0]以及fd[1]来描述，需要注意的是 ...
分类：
其他好文 时间：
2020-10-05 22:28:52
阅读次数：
31
学习是一个登堂入室，由浅入深的过程。在学习完Linux命令，掌握shell脚本语法变量和接受用户输入的信息之后，就要踏上新的高度——能够进一步处理接收到的用户参数。 系统在执行mkdir命令时会判断用户输入的信息，即判断用户指定的文件夹名称是否存在，如果存在则提示报错；反之则自动创建。shell脚本 ...
分类：
其他好文 时间：
2020-09-24 21:24:02
阅读次数：
41
https://www.jenkins.io/zh/doc/book/installing/ Jenkins是一个开源的自动化服务器，可以用来轻松地建立持续集成和持续交付(CI/CD)管道。 持续集成(CI)是一种DevOps实践，在这种实践中，团队成员定期将他们的代码更改提交到版本控制存储库，然后 ...
分类：
其他好文 时间：
2020-09-24 21:10:32
阅读次数：
43
基于Spider父类进行全站数据的爬取 全站数据的爬取:将所有页码对应的页面数据进行爬取 手动请求的发送(get): yield scrapy.Request(url,callback) 对yield的总结: 向管道提交item对象 yield item 手动请求发送 yield scrapy.Re ...
分类：
其他好文 时间：
2020-09-21 11:50:33
阅读次数：
45
scrapy下载图片 爬虫类中,将img_src作为item的属性yield即可 关键实现点在管道类里 导入一个图片的管道类 from scrapy.pipelines.images import ImagesPipeline 发请求 import scrapy 重写图片管道类的三个父类方法 get ...
分类：
其他好文 时间：
2020-09-21 11:50:07
阅读次数：
31
多任务和cpu时间片： 不过，cpu如何选择下一个要执行的进程，这是一件非常复杂的事情。在Linux上，决定下一个要运行的进程是通过"调度类"(调度程序) 来实现的。程序何时运行，由进程的优先级决定。除此之外，优先级还影响分配给进程的时间片长短。在Linux中，改变进程的nice值， 可以影响某类进... ...
分类：
系统相关 时间：
2020-09-18 03:00:11
阅读次数：
45
现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。主要包括以下内容：Kafka是如何保障数据不丢失的？如何解决Kafka数据丢失问题？Kafka可以保障永久不丢失数据吗？如何保障Kafka中的消息是有序的？如何确定
分类：
其他好文 时间：
2020-09-17 23:41:36
阅读次数：
33
