在报表应用中，针对历史数据查询的报表占比很大，这类报表的特点是：第一，数据变化小，查询的历史数据几乎不会发生变化；第二，数据量大，而且还会随时间不断增加。如果这些历史数据始终存放在数据库中，由于大多数数据库的 JDBC 性能都很低下（取数过程的数据对象转换比从文件中读取数据慢一个数量级），当涉及数据 ...
分类：
其他好文 时间：
2019-12-25 16:21:14
阅读次数：
78
很少有开发会考虑到数据归档的问题已经数据增长的问题，当程序运行一段时间后，就会出现各种问题，部分问题可以修改SQL语句或使用索引来解决，但如果SQL语句无法修改，糟糕的SQL语句无法使用索引，归档历史数据便成为一种 解决手段。 如某系统登录表每天增加 20W 数据，系统需访问最近一周的数据，系统运行 ...
分类：
数据库 时间：
2019-12-07 12:15:32
阅读次数：
202
首先申明：这只是一篇日志，写得不太严谨，毕竟我是将生产环境的数据下载后（部分表）恢复至开发环境，用于历史数据查询。从阿里云下载hins8247923_data_20191118055735_qp.xb，即*_qp.xb数据库，作如下处理：一、安装开源的PerconaXtraBackup备份恢复工具：操作系统中已安装数据恢复工具PerconaXtraBackup，可以从PerconaXtraBack
分类：
数据库 时间：
2019-11-21 12:24:26
阅读次数：
683
官网 http://logio.org/ log.io是运行在node.js之上的 可通过浏览器访问服务器日志 类似于tail -f命令 它只负责实时传输数据 而不会去存储历史数据 大白话：可以使用web网页在线看log，但不能看历史的log 开始安装： 1 # 安装log.io 2 cnpm in ...
分类：
其他好文 时间：
2019-11-17 17:40:11
阅读次数：
152
AI量化交易（一）——量化交易简介一、量化交易简介1、量化交易简介量化交易是以数学模型为交易思维，以历史数据为基础，以数学建模、统计学分析、编程设计为工具，利用计算机技术从庞大的历史数据中海选出能带来超额收益的多种大概率获利事件以制定交易策略。2、量化交易的特点（1）纪律性。量化投资决策都是依据模型做出的，模型会模拟测试成千上万次来达到高容错率。（2）系统性。量化交易数据分析有一套非常全面的数据评
分类：
其他好文 时间：
2019-11-17 01:05:29
阅读次数：
788
!/usr/bin/python # --*-- coding: utf-8 --*-- # 获取用户画像集群平均qps,高峰qps,请求数,超过10ms的比例,平均响应时间 按照每天计算 import requests import time import json # 登录url login_u ...
分类：
其他好文 时间：
2019-11-13 10:45:31
阅读次数：
176
#!-*- coding:utf8 -*- import requests import time import json end = int(time.time()) start = end - 3600 #查询过去一小时的数据 d = { "start": start, "end": end, ...
发现oracle字段钟包含了空格，可能是前空格，也可能是后空格，因为是历史数据，需要特殊处理。但是中间的空格可能是一些特殊人员的姓名含有，这种情况不能处理。所以我们只需要处理前后空格即可。使用如下sql，即可解决。 ...
分类：
数据库 时间：
2019-11-06 13:06:44
阅读次数：
110
大部分介绍神经网络的文章中概念性的东西太多，而且夹杂着很多数学公式，读起来让人头疼，尤其没什么基础的人完全get不到作者想要表达的思想。本篇文章尝试零公式（但有少量数学知识）说清楚什么是神经网络，并且举例来说明神经网络能干什么。另外一些文章喜欢举“根据历史交易数据预测房子价值”或者“根据历史数据来预 ...
分类：
其他好文 时间：
2019-11-04 17:20:22
阅读次数：
137
一、MySQL完全备份与恢复备份的主要目的是灾难恢复，备份还可以测试应用、回滚数据修改、查询历史数据、审计等。1、数据备份的重要性在企业中数据的价值至关重要，数据保障了企业业务的正常运行。因此，数据的安全性及数据的可靠性是运维的重中之重，任何数据的丢失都可能对企业产生严重的后果。通常情况下造成数据丢失的原因如下几种：程序错误人为操作错误运算错误磁盘故障灾难（火灾、地震）和盗窃二、数据库备份类型1、
分类：
数据库 时间：
2019-11-01 14:41:51
阅读次数：
96
