典型使用场景 随着使用时间的增加，数据库中的数据量也不断增加，因此数据库查询越来越慢。 加速数据库的方法很多，如添加特定的索引，将日志目录换到单独的磁盘分区，调整数据库引擎的参数等。这些方法都能将数据库的查询性能提高到一定程度。 对于许多应用数据库来说，许多数据是历史数据并且随着时间的推移它们的重要 ...
分类：
数据库 时间：
2019-05-18 09:39:11
阅读次数：
460
from: https://blog.csdn.net/yangang908/article/details/62215209 and : https://my.oschina.net/xiaoluobutou/blog/688245 先验概率：事件发生前的预判概率。可以是基于历史数据的统计，可以由 ...
分类：
其他好文 时间：
2019-05-02 11:37:51
阅读次数：
116
备份的重要性：灾难恢复，测试应用，回滚数据修改，查询历史数据，审计等造成数据丢失的原因有以下几种：程序错误，人为操作错误，运算错误，磁盘故障，灾难和盗窃数据库的备份类型：物理备份和逻辑备份物理备份：是对数据库操作系统的物理文件（如数据文件，日志文件等）的备份物理备份分为：冷备份，热备份，温备份冷备份：数据库关闭状态下进行的备份或者说是服务停止的情况下备份热备份:数据库运行状态或者是服务运行状态下的
分类：
数据库 时间：
2019-04-26 09:17:22
阅读次数：
166
最近经常会碰到上传客户提供的历史数据上传时csv文件用Excel打开时会有乱码问题，虽然知道知道是字符编码不一致导致的，但其中诸多细节却知之甚少，今日特来理理。 1.为什么会有字符乱码问题？如何解决字符乱码问题 计算机中存储的信息都是二进制数表示的，但是世界上有各种不同的语言文字，所以我们需要一些规 ...
分类：
其他好文 时间：
2019-04-26 09:16:02
阅读次数：
131
原文:.net环境下跨进程、高频率读写数据一、需求背景 1、最近项目要求高频次地读写数据，数据量也不是很大，多表总共加起来在百万条上下。 单表最大的也在25万左右，历史数据表因为不涉及所以不用考虑， 难点在于这个规模的热点数据，变化非常频繁。 数据来源于一些检测设备的采集数据，一些大表，有可能在极短... ...
分类：
Web程序 时间：
2019-04-15 23:30:06
阅读次数：
222
SCD缓慢变化维，比如一个用户维表，用户属性会变化，但是不会变化很剧烈，可能一年只会变化一两次，也不会所有用户的属性都会有变化，只有少量的数据发生变化，所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。 解决方式： 是否保留历史数据 保留多久历史数据 历史状态如何与事实表关联 SCD1 保留最新 ...
分类：
其他好文 时间：
2019-04-12 13:26:13
阅读次数：
181
[toc] 1 单机版启动 单机版启动大致可以分为如下步骤： 配置文件解析 初始化数据管理器 初始化网络IO管理器 数据恢复 对外服务 1.1 预启动 在 作为启动类，该类会进行如下操作： 解析 配置文件 清理历史数据 根据配置文件中服务器地址列表的数量，判断是单机还是集群启动 创建 真正启动ZK服 ...
分类：
其他好文 时间：
2019-04-05 00:35:57
阅读次数：
129
一、问题描述 ? 最近遇到了一个奇怪的MySql数据库问题，好几次前一天晚上历史数据还正常存储，第二天早上来了看实时数据存储还正常，历史数据不存储了。找了好久也没找到问题。后来仔细想了想，历史数据设置了变化才存储，是不是数据一直不变，就一直没有往数据库写数据，导致MySql的连接太久不用自动断开了。 ...
分类：
数据库 时间：
2019-03-13 00:15:13
阅读次数：
241
简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素 ...
分类：
数据库 时间：
2019-03-07 15:53:30
阅读次数：
186
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) ...
分类：
其他好文 时间：
2019-03-01 19:57:52
阅读次数：
259
