这段时间在学习nodejs，用jsdom采集了一些数据，也遇到了一些问题，贴出来征求一下大家的解决方案。 首先说一下目的，有几十万条图片数据，把这些图片抓取到本地文件夹中，采集完成后把成功数据归档为done.json,失败数据归档为undone.json，如下： 采集的心路历程： 方法1 forEa ...
分类：
其他好文 时间：
2018-02-23 10:52:06
阅读次数：
216
前两天看到西瓜哥发布的一篇文章名为《SERVER SAN一定比阵列便宜吗？请看5年TCO分析》，其中分析了几家公司产品在数据归档方面5年内的TCO分析。我非常赞同西瓜哥的看法，这种场景的未来一定是Sserver SAN的，这个结论应该不用怀疑。对于长期归档，应该用10年的跨度来对比比较合适。因为一般阵列的生命周期是5-7年，生命周期结束要更换到新的系统，必须要进行数据迁移，有一笔迁移的费用。而Se
分类：
其他好文 时间：
2017-12-04 10:23:33
阅读次数：
135
Oracle性能分析 软件环境：Oracle 11g , 双机RAC. 问题： 大表（千万级行记录）查询、操作慢，经常超时终端（ORA-01013: 用户请求取消当前的操作） 分析： 1）分区表 2）历史数据归档 解决： 采用方案2）。 删除表数据。数据量太大(7444741)无法直接删除，需批量删 ...
分类：
数据库 时间：
2017-10-27 01:40:11
阅读次数：
264
mysql生产库大表删除一般线上业务增长较快，造成某些表达到分表的临界值，表行数超过2000w且查询频繁，如表业务没有较多的聚合查询的话，可以考虑按时间归档部分历史数据。现推荐2种本人之前使用过的删除方式。按照主键或者索引拆分后分段执行，使用存储过程需要注意这种大表删..
分类：
数据库 时间：
2017-09-14 18:40:27
阅读次数：
173
这两天用python谢了个表数据的归档脚本，记录一下。
[root@monitorpython_scripts]#crontab-l
#表数据归档
3021***cd/root/python3/&&sourcebin/activate&&cd/opt/sh/python_scripts/&&pythonmysql_pigeonhole.py
---------------------
[root@monito..
分类：
其他好文 时间：
2017-06-15 22:51:42
阅读次数：
230
归档与恢复归档 归档，英文Archiver[‘ɑrk?v?]，这里指的是将OC的对象存储为一个文件或者网络上的一个数据块。 恢复归档。英文UnArchiver，指的是将一个来自文件或网络的归档数据块恢复成内存中的一个OC对象。 归档和恢复主要用于对自己定义类型对象进行存储。在程序暂停或关闭前保存自己 ...
分类：
移动开发 时间：
2017-06-03 18:14:46
阅读次数：
391
四种数据持久化方式 http://www.cocoachina.com/ios/20160617/16739.html ／／先把数据在model中归解档 。h *is_sec_pwd; 。m ／／ NSUserDefaults 保存 Model数据-》归档-》NSUserdefaults NSUse ...
分类：
移动开发 时间：
2017-05-20 14:28:26
阅读次数：
230
文档权限管理是企业数据归档存储的重要保护手段，企业网盘Mobox是一款带权限操作限制的系统，技术实现原理1、分级分权管理系统管理员来创建文档柜（文档柜可以设置管理员）文档柜管理员，进入自己的文档柜，可以在下面继续创建目录。（可以给目录设置目录管理员）目录管理员，..
分类：
其他好文 时间：
2016-12-23 10:07:26
阅读次数：
205
在SQL Server中，对超级大表做数据归档，使用select和delete命令是十分耗费CPU时间和Disk空间的，SQL Server必须记录相应数量的事务日志，而使用switch操作归档分区表的老数据，十分高效，switch操作不会移动数据，只是做元数据的置换，因此，执行分区切换操作的时间是 ...
分类：
其他好文 时间：
2016-12-01 21:32:57
阅读次数：
198
首先，数据实体需求模式。被分为数据类型、标识符、数据结构、计算公式、数据归档、数据寿命六种需求模式。 对于额外需求部分讨论的主题，即使没有定义普遍性需求，但是也值得考虑 考虑系统在运行时修改配置值的影响 ...
分类：
其他好文 时间：
2016-11-08 17:00:28
阅读次数：
113
