分区表： 分区表是一个独立的逻辑表，底层通过多个物理表实现。 mysql实现分区表的方式是对底层表的封装。这意味着没有全局索引，索引是建立在底层的每个表上的（跟ORACLE不一样）。 用到分区表的几种情况： 数据量非常大，无法全部放到内存中。 只有部分数据是热点数据，其他数据是历史数据。 限制： 一... ...
分类：
数据库 时间：
2017-06-10 17:03:59
阅读次数：
318
mysql历史数据清理sql：truncatetablehistory_log;truncatetabletrends_uint;truncatetabletrends;truncatetablehistory_text;truncatetablehistory_str;truncatetablehistory_uint;truncatetablehistory;
分类：
数据库 时间：
2017-06-05 14:22:22
阅读次数：
272
监控系统需求讨论 架构设计 表结构设计 客户端开发 客户端获取本地的监控项 客户端项服务端发送数据 服务端接受并保存监控数据 历史数据优化保存 报警触发流程 监控客户端是否正常汇报数据 前端数据展示（highchart） ...
分类：
其他好文 时间：
2017-06-04 22:40:39
阅读次数：
170
需求 使用监督学习对历史数据训练生成模型，用于预测文本的类别。 样本清洗 主要将重复的数据删除掉，将错误无效的数据纠正或删除，并检查数据的一致性等。比如我认为长度小于少于13的数据是无效的遂将之删掉。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 1 2 3 4 5 6 7 8 ...
分类：
其他好文 时间：
2017-05-31 10:18:34
阅读次数：
172
一历史数据清理停止相关服务，避免写入数据/etc/init.d/zabbix-serverstop/etc/init.d/httpdstop清空历史数据mysql-uroot-pusezabbix;truncatetablehistory;optimizetablehistory;truncatetablehistory_uint;optimizetablehistory_uint;truncatetabletrends;optimizetabletrend..
分类：
其他好文 时间：
2017-05-23 21:35:43
阅读次数：
463
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) ...
分类：
其他好文 时间：
2017-05-19 11:11:40
阅读次数：
230
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) ...
分类：
编程语言 时间：
2017-05-17 12:00:18
阅读次数：
232
过拟合 我们都知道，在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布（i.i.d，independently and identically distributed），即当前已产生的数据可以对未来的数据进行推测与模拟，因此都是使用历史数据建立模型，即使用已经产生的数 ...
分类：
其他好文 时间：
2017-05-14 23:36:28
阅读次数：
392
个股实时，个股历史数据、个股主力数据等数据源的介绍。
分类：
其他好文 时间：
2017-05-14 10:39:38
阅读次数：
1730
近期在实施一个项目。当中一项工作是处理历史数据。客户提供过来的数据是excel表格，超过20万条记录，因为目标系统导入限制，每次仅仅能导入大小不超过8M的文件。所以须要对这些数据进行切割处理。在手工处理一遍后，认为能够通过写一个程序来自己主动实现切割。于是用JAVA写了一个程序，用于针对特定文件实现 ...
分类：
其他好文 时间：
2017-05-10 09:38:09
阅读次数：
148
