企业管理员为了实施可同时测量已分配资源和实际使用资源的高级计费策略，早期版本的Hyper-V要求用户开发自己的、对性能计数器进行轮询和汇总的计费解决方案。这些解决方案的开发成本可能比较高，而且有时还会导致历史数据的丢失。为了帮助更准确、更简单地收费同时保护历史信息..
分类：
其他好文 时间：
2015-02-02 07:13:17
阅读次数：
185
周三去某在线旅游公司面试。被问到了一个关于数据量大的优化问题。问题是：一个主外键关联表，主表有一百万数据，外键关联表有一千万的数据，要求做一个连接。本人接触过单表数据量最大的就是将近两亿行历史数据（某运营商一业务一年数据）做查询，所有查询相关列必须做索引，而且还要保证不会出现全表扫描情况。也从来没有...
分类：
数据库 时间：
2015-02-01 10:49:31
阅读次数：
206
闪回数据库（FLASHBACK DATABASE）是oracle数据库非常重要的一项功能，与通过undo 获取表数据的历史版本进而执行逻辑错误恢复的功能相比，flashback database 的功能完全不同：undo数据是针对整个数据库的；undo数据的保存时间是有限的；undo 的本质是为了保持数据的一致性。而flashback database可以只针对某表空间保存历史数据，并且只要存储空...
分类：
数据库 时间：
2015-01-27 16:24:12
阅读次数：
357
1. 实时数据eg. http://hq.sinajs.cn/list=sh601006具体可参考：http://www.cnblogs.com/me115/archive/2011/05/09/2040826.html2. 历史数据eg. http://q.stock.sohu.com/hisHq...
分类：
其他好文 时间：
2015-01-25 19:29:34
阅读次数：
164
Scrapy介绍
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加...
分类：
其他好文 时间：
2015-01-25 18:16:58
阅读次数：
212
在报表应用中，针对历史数据查询的报表占比很大，这类报表的特点是：第一，数据变化小，查询的历史数据几乎不会发生变化；第二，数据量大，数据量随时间跨度增大而不断增加。如果数据始终存放在数据库中，由于大多数数据库的JDBC性能都很低下（JDBC取数过程要做数据对象转换，比从文件中读取数据会慢一个数量级），这时涉及数据量较大或在并发较多的时候，报表的性能会急剧下降。如果能将这些变化不大的历史数据移出数据库...
分类：
数据库 时间：
2015-01-20 13:49:35
阅读次数：
250
基本思想：将数据分为训练集合和测试集合，用训练集合的数据训练模型，用测试集合的数据测试模型。训练集和测试集的划分，可以是按照时间的维度，也可以按照人群的维度。
存在风险：对于某些方法可能有偏向性。
用历史数据进行评价
按照时间维度将数据分为训练集合测试集，N折交叉验证。
还有直接用人工进行评价的。不过代价较大，不能上规模，在实际中用处不大。
完。...
分类：
其他好文 时间：
2015-01-17 18:02:07
阅读次数：
165
中国空气质量在线监測分析平台是公益性质的软件平台，提供PM2.5及天气数据的实时查询和历史数据可视化分析，统计挖掘，眼下收录了190个城市的PM2.5及天气信息数据，主要包含PM2.5实时查询、历史曲线查询、PM2.5时段统计分析、AQI历年数据分析、PM2.5中国城市排名、PM2.5中国城市分布图...
分类：
其他好文 时间：
2015-01-04 18:45:17
阅读次数：
1622
聚类模型属于飞溅读式挖掘模型，以用户属性、行为、消费等特征数据为输入，将用户自动聚类为若干类，通常用来挖掘潜在目标客户群体，也可以用在大数据营销工具、CRM工具和防欺诈解决方案上。
分类预测模型分析学习历史数据经验，预测分析未来数据发展方向。模型输出是离散数据或类别的称为分类模型，模型输出是数值类型数据的模型称为数值预测模型。分类模型根据训练数据集的类别号属性，学习现有分类数据的分类规...
分类：
其他好文 时间：
2014-12-31 16:22:19
阅读次数：
161
共享的第一种形式是在不同人、不同部门、不同单位之间共享，这是大家经常理解的一种。而另一种共享形式大家可能不很注意，就是数据的纵向共享，历史数据的使用也是一种共享。如果说前面的共享理解为广度的共享，那么后一种是深度共享。一次和搞工程设计专业的人聊天，说起原来非计算机画图时代，很辛苦，效率很低，而现在开...
分类：
其他好文 时间：
2014-12-19 14:15:51
阅读次数：
188
