scrapy-redis使用以及剖析 scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scr ...
分类：
其他好文 时间：
2018-07-23 15:49:19
阅读次数：
134
scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 ...
分类：
其他好文 时间：
2018-07-23 15:04:15
阅读次数：
208
1、 数据持久化：将程序中的数据在瞬时状态和持久状态间转换的机制即为数据持久化； 2、 持久化的实现方式：数据库、普通文件、XML文件； 3、 JDBC封装：采用面向接口编程，可以降低代码间的耦合性； 为了提高代码的维护性和扩展性，我们使用JDBC进行封装数据，： 先定义统一的API，将操作数据的代 ...
分类：
数据库 时间：
2018-07-21 22:37:01
阅读次数：
464
6个分离： 前台页面内容与样式布局分离 前台页面展现与后台业务逻辑分离 后台业务逻辑与整体业务控制分离 后台业务逻辑与数据持久化分离 后台数据持久化与实体对象分离 数据逻辑与业务逻辑分离 目标： 平台整体实现服务架构和领域模型设计 能够做到快速迭代、持续集成。 ...
分类：
其他好文 时间：
2018-07-18 15:12:27
阅读次数：
137
参考文献 1. "Redis源码学习 AOF数据持久化原理分析(0)" 2. "Redis源码学习 AOF数据持久化原理分析(1)" 3. "Redis · 特性分析 · AOF Rewrite 分析 " 4. "深入剖析 redis AOF 持久化策略" 5. "函数sync、fsync与fdat ...
分类：
数据库 时间：
2018-07-18 00:39:55
阅读次数：
284
Redis是一款高性能分布式内存数据库，支持数据持久化（可以把内存里的数据保存到硬盘中），支持list、hash、set、zset数据类型，支持master-salve模式（主从）。部署redis服务1、下载redis源码包，源码编译安装tarzxfredis-4.0.8.tar.gzcdredis-4.0.8makemakeinstall2、初始化配置（redis服务端口号，主配置文件，数据库目
分类：
其他好文 时间：
2018-07-14 11:54:28
阅读次数：
173
Redis 1 redis介绍： redis是开源的 key-value形式存储数据，C语言编写的框架 特点 ： 1 高性能：提供多种语言的API set效率 11万次/秒 get效率8.1万次/秒 2 数据完全存放在内存中，支持数据持久化 3 value 可以是字符串，hash(map) 列表li ...
分类：
其他好文 时间：
2018-07-13 18:56:59
阅读次数：
203
消息队列 已经逐渐成为企业应用系统 内部通信 的核心手段。它具有 低耦合、可靠投递、广播、流量控制、最终一致性 等一系列功能。 当前使用较多的 消息队列 有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ 等，而部分 数据库 如 Redis、MySQL ...
分类：
其他好文 时间：
2018-07-13 16:21:49
阅读次数：
230
数据持久化 关于数据储存,这个话题已经被反复讨论过很多次了,我是不建议把网络存储这种方式纳入到数据储存的范围的,因为这个和Android没多少关系,因此就有如下的分类: 本地储存(也称之为数据持久化,包含文件储存,SharedPreferences,SQLite储存和ContentProvider( ...
分类：
移动开发 时间：
2018-07-06 17:50:34
阅读次数：
199
