最近在做MYSQL大批量数据的测试，就简单总结一下遇到的问题：
首先我是简单的写了一个MYSQL的循环插入数据的SP，具体如下：
这是插入100W数据的过程和结果，可以看到是换了55min +20S约3320秒（约300rows/s）,看到之后我是只崩溃，就在网上查了些提速的方法：
0. 最快的当然是直接 copy 数据库表的数据文件（版本和平台最好要相同或相似）；
1. 设置 i...
分类：
数据库 时间：
2016-06-02 15:02:06
阅读次数：
398
如何将Excel导入Sap系统，在sap可执行程序中可以通过调用函数ALSM_EXCEL_TO_INTERNAL_TABLE实现。...
分类：
数据库 时间：
2016-06-02 14:58:32
阅读次数：
529
本文讨论如果一个Cache Table设定了Aging策略，那么Aging导致的缓存中数据的删除是否会影响到Oracle数据库?如果是只读缓存组，当然是不会影响到Oracle的。如果是AWT缓存组，答案也是不会影响，即Aging导致的数据删除不会传播到Oracle，下面通过实验验证一下。之前的建立缓存组的准备工作此处略过。在Oracle中建立源表(schema 用户 - tthr)：create t...
分类：
数据库 时间：
2016-06-02 14:40:38
阅读次数：
233
本文为一个动手实验，配置Active Standby Pair，配置3个数据库, master, standby和一个subscriber。拓扑如下：在本实验中，为简化，三个数据库皆位于同一主机。创建DSN[ODBC Data Sources]
master1=TimesTen 11.2.2 Driver
master2=TimesTen 11.2.2 Driver
subscriber1=T...
分类：
数据库 时间：
2016-06-02 14:40:02
阅读次数：
380
本文为TimesTen数据库复制系列的第一篇。什么是复制复制就是在多个数据库中存在多份数据拷贝，对性能影响最小的同时保证数据高可用，除了数据恢复外，还可以均衡工作负载，以最大化性能和实现滚动升级和维护TT复制的实现是在master和subscriber数据库都有复制代理，一个负责读，一个负责加载，数据在rep agent间传递TT推荐的方法是ASP(active standby pair)，TT支持...
分类：
数据库 时间：
2016-06-02 14:42:34
阅读次数：
246
mongodb3.0的索引管理学习整理...
分类：
数据库 时间：
2016-06-02 14:32:34
阅读次数：
260
1、数据库
关键字：键空间，过期，删除策略
数据结构源码//redisServer中属性太多，篇幅限制，故只列本章描述相关的属性
struct redisServer {
//...
// 数据库
//一个数组，保存着服务器中的所有数据库
redisDb *db;
// 服务器的数据库数量
int dbnum;...
分类：
数据库 时间：
2016-06-02 14:27:47
阅读次数：
220
本篇博文主要介绍Python连接各种数据库的方法及简单使用
包括关系数据库：sqlite,mysql,mssql
非关系数据库：MongoDB,Redis代码写的比较清楚...
分类：
数据库 时间：
2016-06-02 14:19:35
阅读次数：
246
一、数据引擎简介
在MySQL 5.1中，MySQL
AB引入了新的插件式存储引擎体系结构，允许将存储引擎加载到正在运新的MySQL服务器中。
使用MySQL插件式存储引擎体系结构，允许数据库专
业人员为特定的应用需求选择专门的存储引擎，完全不需要管理任何特殊的应用编码要求。采用MySQL服务器体系结构，由于在存储级别上提供了一致和简单的 应用模型和API，应用程序编程人员和D...
分类：
数据库 时间：
2016-06-02 14:17:07
阅读次数：
287
下面是在网上搜集的一些个人认为比较正确的调优方案，如有错误望指出，定虚心改正
（1） 选择最有效率的表名顺序(只在基于规则的优化器中有效)：
ORACLE 的解析器按照从右到左的顺序处理FROM子句中的表名，FROM子句中写在最后的表(基础表 driving table)将被最先处理，在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。如果有3个以上的表连...
分类：
数据库 时间：
2016-06-02 14:16:25
阅读次数：
279
一、表变量
表变量在SQL Server 2000中首次被引入。表变量的具体定义包括列定义，列名，数据类型和约束。而在表变量中可以使用的约束包括主键约束，唯一约束，NULL约束和CHECK约束(外键约束不能在表变量中使用)。定义表变量的语句是和正常使用Create Table定义表语句的子集。只是表变量通过DECLARE @local_variable语句进行定义。
表变量的特...
分类：
数据库 时间：
2016-06-02 14:14:31
阅读次数：
260
一、数据库管理概述
在完成Oracle软件安装后，DBA就应该对组织和管理数据库负责任，其主要任务是：
（1）启动和关闭数据库；
（2）创建数据库；
（3）删除数据库；
（4）调整初始化参数；
（5）管理网络。
对于数据库的管理，必须要具有SYSDBA和SYSOPER的角色，才有权启动、关闭、运行数据库。SYSDBA角色拥有SYS数据表的所有权限，SYSOPER的角色拥...
分类：
数据库 时间：
2016-06-02 14:15:31
阅读次数：
241
char与varchar比较；针对MyISAM、InnoDB、Memory存储引擎如何选择char与varchar，以及一些可能的误区...
分类：
数据库 时间：
2016-06-02 14:12:36
阅读次数：
217
一.Navicat Premium中的数据迁移工具
为了生产库释放部分资源，需要将API模块迁移到mysql中，及需要导数据。
尝试了oracle to mysql工具，迁移时报错不说，这么大的数据量，用这种简陋的工具不大可靠。
意外发现平时用的数据库视图工具Navicat Premium中有数据迁移工具，意外的好用。这个工具本身支持mysql，oracle，sqlLite，...
分类：
数据库 时间：
2016-06-02 14:11:36
阅读次数：
249
TerarkDB是一款功能丰富的数据库，具有优异的读性能和良好的写性能 — 因为使用的是自主研发的索引压缩和数据压缩技术（索引不是传统的B+树或者LSM，数据也不是块压缩）。
TerarkDB v0.13 近期刚刚发布，目前这个版本已经具有了比较完善的功能，为了更好地让大家了解我们的产品，我们内部进行了一些比较全面的性能评测。
本文包含三种场景: 数据小于内存, 数据略大于内存以及数据远大于内存, 后续我们会发布...
分类：
数据库 时间：
2016-06-02 14:10:06
阅读次数：
265
mongodb
memcached
redis kv数据库(key/value)
mongodb 文档数据库,存储的是文档(Bson->json的二进制化).
特点:内部执行引擎为JS解释器,
把文档存储成bson结构,在查询时,转换为JS对象,并可以通过熟悉的js语法来操作.
mongo和传统型数据库相比,最大的不同:
传统型数据库: 结构化...
分类：
数据库 时间：
2016-06-02 14:07:52
阅读次数：
350
sql语句优化
性能不理想的系统中除了一部分是因为应用程序的负载确实超过了服务器的实际处理能力外,更多的是因为系统存在大量的SQL语句需要优化。
为了获得稳定的执行性能，SQL语句越简单越好。对复杂的SQL语句，要设法对之进行简化。
常见的简化规则如下：
1）不要有超过5个以上的表连接（JOIN）
2）考虑使用临时表或表变量存放中间结果。
3）少用子查询
4）...
分类：
数据库 时间：
2016-06-02 14:06:31
阅读次数：
265
