背景： 笔者的源数据一张表大概7000多万条，数据大小36G，索引6G，加起来表空间有40G+，类似的表有4张，总计2亿多条 数据库mysql，引擎为innodb,版本5.7，服务器内存256G，物理内存几个T，硬件参数杠杠的，然而处理这些数据踩了不少坑，因 为之前没做过这方面的工作，现在记录下清洗 ...
分类：
数据库 时间：
2018-08-25 14:13:18
阅读次数：
213
数据库的配置 1 django默认支持sqlite，mysql, oracle,postgresql数据库。 <1> sqlite django默认使用sqlite的数据库，默认自带sqlite的数据库驱动 , 引擎名称：django.db.backends.sqlite3 <2> mysql 引擎 ...
分类：
其他好文 时间：
2018-08-10 01:27:13
阅读次数：
182
MySQL有很多引擎，MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED...等等 比较常用的就是InnoDB和MyISAM了 >. MyISAM不支持事务，InnoDB支持，MyISAM不具有原子性，如果你需要支持事 ...
分类：
数据库 时间：
2018-08-08 14:54:39
阅读次数：
138
数据库的配置 1 django默认支持sqlite，mysql, oracle,postgresql数据库。 <1> sqlite django默认使用sqlite的数据库，默认自带sqlite的数据库驱动 , 引擎名称：django.db.backends.sqlite3 <2> mysql 引擎 ...
分类：
数据库 时间：
2018-08-03 14:28:44
阅读次数：
167
一、Mysql事务 事务： 事务指逻辑上的一组操作，组成这组操作的各个单元，要么全部成功，要么全部不成功。 １、Mysql中的事务 a、mysql引擎是支持事务的 b、mysql默认自动提交事务。每条语句都处在单独的事务中。 c、手动控制事务 开启事务：start transaction | beg ...
分类：
其他好文 时间：
2018-07-14 21:01:26
阅读次数：
141
一、引擎 简介 Innodb引擎 Innodb引擎提供了对数据库ACID事务的支持，并且实现了SQL标准的四种隔离级别。该引擎还提供了行级锁和外键约束，它的设计目标是处理大容量数据库系统，它本身其实就是基于MySQL后台的完整数据库系统，MySQL运行时Innodb会在内存中建立缓冲池，用于缓冲数据 ...
分类：
数据库 时间：
2018-06-23 18:58:38
阅读次数：
197
一、mysql部分 二、django部分 三、Python部分 四、RESTful API设计指南 五、git 六、项目部分 一、MySQL 1、mysql如何做分页 mysql数据库做分页用limit关键字，它后面跟两个参数startIndex和pageSize 2、mysql引擎有哪些，各自的特 ...
分类：
其他好文 时间：
2018-06-17 13:37:36
阅读次数：
152
一、MySQL 1、mysql如何做分页 mysql数据库做分页用limit关键字，它后面跟两个参数startIndex和pageSize 2、mysql引擎有哪些，各自的特点是什么？ http://www.cnblogs.com/ctztake/p/8453990.html 3、数据库怎么建立索引 ...
分类：
数据库 时间：
2018-06-13 23:42:09
阅读次数：
382
前言 InnoDB 有两块非常重要的日志，一个是undo log，另外一个是redo log，前者用来保证事务的原子性以及InnoDB的MVCC，后者用来保证事务的持久性。 和大多数关系型数据库一样，InnoDB记录了对数据文件的物理更改，并保证总是日志先行，也就是所谓的WAL，即在持久化数据文件前 ...
分类：
数据库 时间：
2018-04-28 15:48:30
阅读次数：
184
索引在mysql中也叫做键（key），是存储引擎用于快速找到记录的一种数据结构。常见索引类型：1. B-Tree索引大多数mysql引擎都支持这种索引；B-Tree通常意味着所有的值都是按顺序存储的，并且每一个叶子页到根的距离相同；存储引擎不需要进行全表扫描来获取需要的数据，取而代之是从索引的根节点开始进行搜索；适用于：A. 全键值查找（全值匹配）B. 键值范围（若是
分类：
数据库 时间：
2018-04-15 23:28:50
阅读次数：
237
