可以使用percona-toolkit包中的pt-archiver工具来进行历史数据归档 1、清理线上过期数据。 2、清理过期数据，并把数据归档到本地归档表中，或者远端归档服务器。 3、两张表之间的数据不完全相同，希望合并。此时加上–ignore或–replace选项，可以轻松实现。 4、导出线上数 ...
分类：
其他好文 时间：
2018-05-11 17:16:38
阅读次数：
332
最近新接到的一项工作是把SQL Server中保存了四五年的陈年数据（合同，付款，报销等等单据）进行归档，原因是每天的数据增量很大，而历史数据又不经常使用，影响生产环境的数据查询等操作。要求是： 1 归档的数据与生产环境数据分开保存，以便提高查询效率和服务器性能。 2 前端用户能够查询已归档的数据， ...
分类：
数据库 时间：
2018-05-04 14:06:24
阅读次数：
204
第十九章Linux监控平台搭建19.1Linux监控平台介绍常见开源监控软件cacti、nagios、zabbix、smokeping、open-falcon等等。cacti、smokeping偏向于基础监控，成图漂亮。cacti、nagios、zabbix服务端监控中心，需要php环境支持，其中zabbix和cacti都需要mysql作为数据存储，nagios不用存储历史数据，注重服务或者监控项
分类：
系统相关 时间：
2018-05-04 11:57:36
阅读次数：
285
3.1 目标客户的特征分析 在目标客户的典型特征分析中，业务场景可以是试运营之前的虚拟特征探索（来源历史数据模拟推测），也可以是试运营之后来自真实运营数据基础上的分析、挖掘和提炼，两者目标一致，只是思路不同、数据来源不同而已。另外，分析技术也有一定的差异。 3.2 目标客户的预测（响应、分类）模型 ...
分类：
其他好文 时间：
2018-05-01 20:42:20
阅读次数：
271
zabbix 由于历史数据过大, 因此导致磁盘空间暴涨, 下面是解决方法步骤： 一、分析数据库： 1. 统计数据库中每个表所占的空间： mysql> SELECT table_name AS "Tables", round(((data_length + index_length) / 1024 / ...
分类：
数据库 时间：
2018-05-01 10:54:18
阅读次数：
333
一、需求背景 1、最近项目要求高频次地读写数据，数据量也不是很大，多表总共加起来在百万条上下。 单表最大的也在25万左右，历史数据表因为不涉及所以不用考虑， 难点在于这个规模的热点数据，变化非常频繁。 数据来源于一些检测设备的采集数据，一些大表，有可能在极短时间内（如几秒钟）可能大部分都会变化， 而 ...
分类：
Web程序 时间：
2018-04-29 19:19:30
阅读次数：
249
沪拍拍课堂1 我们介绍了沪牌中标的基本原理：估价合理，出价及时。 今天给大家介绍一下业内黄牛的玩法。黄牛的中拍率的理论值是20%，而实际值只有10%左右，那么他们是如何保证每次都拍中的？ 道理很简单，其实就是价值全覆盖。谁也猜不准下一次的中标价格是多少，那就根据历史数据，进行全覆盖式出价，比如从50 ...
分类：
其他好文 时间：
2018-04-29 01:25:06
阅读次数：
277
背景信息：
我们的数据存放位置有三个，本地、同城、异地。备份数据会放本地，然后常规通过DFS同步到同城、异地两个地方。由于DFS的特性是双向同步的，所以你如果在一个地方删除、更新文件，那么三个地方是会同步更新成一致的。
由于数据量的大小的限制，我没有办法无限制的保存数据在服务器上，因此会定期把旧备份删除。但是我异地的服务器的本地硬盘又比较大，我又想差异化的把历史数据最大限度的在异地服务
分类：
其他好文 时间：
2018-04-24 15:34:52
阅读次数：
148
1、镜像下载 为了防止安装过程中由于镜像下载缓慢导致自动部署失败，所以首先提前下载好EFK镜像。 2、创建持久化PV 由于日志需要保存方便查询历史数据，故创建PV保存Elasticsearch的数据。 3、修改ansible hosts 基于上节的hosts，添加的内容为红色字体部分。 4、执行安装 ...
分类：
其他好文 时间：
2018-04-20 16:07:17
阅读次数：
319
客户端服务端有公网IP客户端只有内网IP只能客户端制定IPTABLES规则NAT配置主机群组模版预设一些监控项目的集合主机没有启动agent添加主机线添加群组创建主机客户端IP添加完之后应用集监控项的一个集合更方便的管理监控项监控项监控的项CUP相关触发器针对某一个项目设置一个告警规则定义告警级别图形可以成图有历史数据自动发现规则磁盘分区使用量使用比例创建模版自动发现没有复制按钮导出模版生产xml
分类：
其他好文 时间：
2018-04-16 23:56:05
阅读次数：
214
