本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等磁盘为系统提供了最基本的持久化存储。文件系统则在磁盘的基础上，提供了一个用来管理文件的树状结构。那么，磁盘和文件系统是怎么工作的呢？又有哪些指标可以衡量它们的性能呢？索引节点和目录项文件系统，本身是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。你要记住最重要的一点，在Linux中一切皆文件。不仅
分类：
系统相关 时间：
2020-07-06 00:45:17
阅读次数：
91
redis持久化存储 redis多被用于缓存和消息中间件，当被用作缓存时，数据的读写都是在内存中进行的，而内存一旦在主机断电或者主机重启时里面的数据将被清空，为保证数据不被丢失，redis为我们提供两种数据持久化存储方式：RDB，AOF。 RDB持久化存储 RDB持久化是按配置文件中指定的时间间隔， ...
分类：
其他好文 时间：
2020-07-03 23:08:07
阅读次数：
75
需求：股票分析 使用tushare包获取某股票的历史行情数据。 tushare财经数据接口包，基于该模块可以获取任意股票的历史交易数据 pip install tushare 输出该股票所有收盘比开盘上涨3%以上的日期。 输出该股票所有开盘比前日收盘跌幅超过2%的日期。 假如我从2010年1月1日开 ...
分类：
其他好文 时间：
2020-06-30 17:23:27
阅读次数：
67
基于管道的持久化存储 1.数据解析 2.将解析的数据存储封装到item类型的对象 属性类型：scrapy.Field() 3.将item提交给管道 4.管道类中的process_item负责接收item且对其进行任意形式的持久化存储 5.在配置文件中开启管道 字典，键值（class：300） 注意： ...
分类：
编程语言 时间：
2020-06-28 12:51:45
阅读次数：
54
scrapy异步的爬虫框架。 异步的爬虫框架。 高性能的数据解析，持久化存储，全栈数据的爬取，中间件，分布式 框架：就是一个集成好了各种功能且具有很强通用性的一个项目模板。 环境安装： Linux： pip3 install scrapy Windows： a. pip3 install wheel ...
分类：
编程语言 时间：
2020-06-25 21:26:24
阅读次数：
65
1、今日学习提纲 聚焦爬虫、正则、bs4、xpath 2、聚焦爬虫：爬取页面中指定的页面内容 --编码流程： --指定url -- 发起请求 --获取响应数据 --数据解析 --持久化存储 3、数据解析分类 --正则 --bs4 --xpath（***** 通用性最强） 4、数据解析原理概述 解析的 ...
分类：
其他好文 时间：
2020-06-25 14:06:56
阅读次数：
117
磁盘 磁盘为系统提供了最基本的持久化存储。 文件系统 文件系统则在磁盘的基础上，提供了一个用来管理文件的树状结构 组织方式不同，就会形成不同的文件系统。 为了方便管理，Linux 文件系统为每个文件都分配两个数据结构，索引节点（index node）和目录项（directory entry）。它们主 ...
分类：
系统相关 时间：
2020-06-21 21:41:31
阅读次数：
72
数据解析 聚焦爬虫：在通用爬虫的基础之上，可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式： 正则 bs4 xpath（重点） pyquery（自学） 聚焦爬虫编码流程： 指定url 发起请求 获取响应数据 数据解析 持久化存储 数 ...
分类：
其他好文 时间：
2020-06-18 11:22:58
阅读次数：
123
1、引入 聚焦爬虫：在通用爬虫的基础之上，可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式： 正则 bs4 xpath（重点） pyquery 聚焦爬虫编码流程： 指定url 发起请求 获取响应数据 数据解析 持久化存储 2、数据解 ...
分类：
编程语言 时间：
2020-06-17 23:03:38
阅读次数：
74
requests模块数据解析 数据解析最根本的作用：定位到某个标签，并获取该标签的文本或者属性 解析：根据指定的规则对数据进行提取 作用：实现聚焦爬虫 聚焦爬虫的编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 数据解析的方式: 正则 bs4 xpath 通用原理: 1.标签定位 ...
分类：
其他好文 时间：
2020-06-09 12:49:24
阅读次数：
82
