谈论数据库架构和数据库优化的时候，我们经常会听到“分库分表”、“分片”这样的关键词。让人感到高兴的是，这些朋友所服务的公司业务量正在（或者即将面临）高速增长，技术方面也面临着一些挑战。 垂直分 垂直分表 垂直分表在日常开发和设计中比较常见，通俗的说法叫做“大表拆小表”，拆分是基于关系型数据库中的“列 ...
分类：
其他好文 时间：
2017-07-01 19:20:03
阅读次数：
141
mysql分区分表1.分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表，每个表都对应三个文件，MYD数据文件，.MYI索引文件，.frm表结构文件mysql分表分为垂直切分和水平切分垂直切分是指数据表列的拆分，把一张列比较多的表拆分为多张表通常我们按以下原则进行垂..
分类：
数据库 时间：
2017-06-23 15:29:10
阅读次数：
322
NoSQL产生的原因： 关系型数据库不擅长的操作，是NoSQL应运而生的原因： 大量的数据写入操作书上写的是“大量数据的写入操作“，我理解的应该是“大量的数据写入操作”，因为大量的数据写入操作才会引起并发，并发和锁是关系型数据库的瓶颈，NoSQL将表拆分到不同的节点上，可以将写入操作分发到各个节点上 ...
分类：
数据库 时间：
2017-06-01 12:04:36
阅读次数：
189
之前在讲表拆分的时候氛围垂直拆分和水平拆分 垂直拆分的查询其实不难，就是从单表变为了多表，而大部分情况下只是对主表的查询多，从表的查询会很少用到，这样的情况下关联查询不需要太多的考虑 水平拆分之前讲了大数据量的情况下根据历史时间来查询，那么今天来说另外一种，还有一只是根据主键id取模后根据这样的规则 ...
分类：
Web程序 时间：
2017-05-10 11:31:34
阅读次数：
167
题目：Word Break 将给定的字符串按照给定的单词表拆分开，判断是否能在给定的单词表中拆分该字符串 单词表中单词不重复，但是可以在字符串中重复出现。 思路： 暴力搜索，只要遍历单词表每次找到与字符串的当前位置往后的n(单词表中当前遍历到的单词长度)的字符重合则表示可以拆分。 这种方法，时间复杂 ...
分类：
其他好文 时间：
2017-04-18 22:12:05
阅读次数：
206
今天记录一次公司的技术分享，让我明白了，原来数据冗余也是一个利器。 数据库范式 在上学学习数据库的时候肯定都是要讲到范式的，这里简单回顾一下。-第一范式（1NF）所有的域都应该是原子性的，即数据库表的每一列都是不可分割的原子数据项，而不能是集合，数组，记录等非原子数据项，即没有重复域。-第二范式（2 ...
分类：
数据库 时间：
2017-04-13 10:15:15
阅读次数：
232
最近公司有一个几千万行的大表需要按照城市的id字段拆分成不同的csv文件。 写了一个自动化的shell脚本 在/home/hdh 下面 linux-xud0:/home/hdh # lltotal 16-rwxrwxrwx 1 root root 902 Dec 28 07:47 cf.sh-rwx ...
分类：
数据库 时间：
2016-12-28 09:42:14
阅读次数：
479
1.目的通过对比测试，分析某数据表tabC拆分方案前后性能对比，确定拆分方案的可行性。2.方法对拆分方案前后两种类型进行对比测试。同时，每次测试中采用两种更新方式：1.和原来类似，对数据表所有字段的更新分多次2.对数据表所有字段的更新一次性完成3.环境本次测试采用线上实..
分类：
其他好文 时间：
2016-12-06 04:49:04
阅读次数：
287
1.1 拆分实体到多张表 假设你有如下表，如图6-1。Product表用于存储商品的字符类信息，ProductWebInfo用于存储商品的图片，两张表通过SKU关联。现在你想把两张表的信息整合到一个实体类。 图6-1 1.2 使用code first 新建如下的poco实体： 1.3 创建一个继承自 ...
分类：
其他好文 时间：
2016-12-05 19:32:54
阅读次数：
269
1.关于hive的优化 -》大表拆分小表 -》过滤字段 -》按字段分类存放 -》外部表与分区表 -》外部表：删除时只删除元数据信息，不删除数据文件 多人使用多个外部表操作同一份数据文件 -》分区表：hive中的数据库，表，分区来说都是文件夹 提高了检索效率 -》手动创建 -》动态分区 -》外部表+分 ...
分类：
数据库 时间：
2016-11-18 14:17:08
阅读次数：
302
