此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 全局序列号 数据切分后，原有的关系数据库中的主键约束在分布式条件下将无法使用，因此需要引入外部机制保证数据唯一性标识，这种保证全局性的数据唯一标识的机制就是全局序列号（sequence）。 1. 本地文件方式 ...
分类：
数据库 时间：
2018-11-01 13:37:54
阅读次数：
151
第1章 课程摘要 课程内容的概要介绍，包括课程目标，面向用户，预备知识，课程大纲，软件与硬件环境等。 1-1 课程导学 1-2 开发环境要求 第2章 创建PXC集群 学习安装与创建PXC集群，为了搭建三高特点的数据库集群，我们将把两组PXC集群组建成分片，由MyCat做数据切分与读写分离，然后对My ...
分类：
数据库 时间：
2018-09-14 01:07:36
阅读次数：
973
第1章 课程摘要课程内容的概要介绍，包括课程目标，面向用户，预备知识，课程大纲，软件与硬件环境等。 第2章 创建PXC集群学习安装与创建PXC集群，为了搭建三高特点的数据库集群，我们将把两组PXC集群组建成分片，由MyCat做数据切分与读写分离，然后对MyCat做集群，用Keepalived+Hap ...
分类：
数据库 时间：
2018-09-08 18:56:17
阅读次数：
567
一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心 ...
分类：
数据库 时间：
2018-07-24 17:45:39
阅读次数：
210
7.2 流量汇总程序案例 7.2.1 需求1：统计手机号耗费的总上行流量、下行流量、总流量（序列化） 1）需求： 统计每一个手机号耗费的总上行流量、下行流量、总流量 2）数据准备 phone_date.txt 输入数据格式： 输出数据格式 3）分析 基本思路： Map阶段： （1）读取一行数据，切分 ...
分类：
其他好文 时间：
2018-07-03 00:58:51
阅读次数：
191
在分类回归树中之所以要先分类后回归的原因是，对于一般的线性回归是基于全部的数据集。这种全局的数据建模对于一些复杂的数据来说，其建模的难度会很大。所以我们改进为局部加权线性回归，其只利用数据点周围的局部数据进行建模，这样就简化了建模的难度，提高了模型的准确性。树回归也是一种局部建模的方法，其通过构建决策点将数据切分，在切分后的局部数据集上做回归操作。比如在前面博客中提到的风险预测问题，其实就是在特征
分类：
其他好文 时间：
2018-06-15 17:08:47
阅读次数：
1499
随着当今系统中的数据量越来越庞大，当我们设计系统时经常会关心数据库的性能，以及数据库是否需要做分库分表处理。数据库是否要分库分表需要由业务吞吐量、数据库品牌、数据量等多方面决定，分库分表也还分为水平切分和垂直切分。这里仅描述不同场景下，数据库做水平的情况。 我理解的数据库分库分表本质上的目的就是一次 ...
分类：
其他好文 时间：
2018-06-07 11:41:57
阅读次数：
185
前言 公司最近在搞服务分离，数据切分方面的东西，因为单张包裹表的数据量实在是太大，并且还在以每天60W的量增长。 之前了解过数据库的分库分表，读过几篇博文，但就只知道个模糊概念， 而且现在回想起来什么都是模模糊糊的。 今天看了一下午的数据库分库分表，看了很多文章，现在做个总结，“摘抄”下来。（但更期 ...
分类：
数据库 时间：
2018-05-25 00:24:30
阅读次数：
208
schema:由多个数据库组成的逻辑数据库datanode：将数据切分后，一个大表被分配到不同的分片数据库上，每个表分片所在的数据库就称为分片节点datahost：一个或者多个分片节点所在的机器就是节点主机分片节点与节点主机的概念稍微有点不好理解，举例来说，一张100W的表被分为两张表，前50W在A主机的数据库中，后50W在B主机的数据库中，表所在的数据库就称这张表的分片节点；一个主机中不可能只有
分类：
其他好文 时间：
2018-05-24 10:30:35
阅读次数：
171
数据库分库分表思路 https://www.cnblogs.com/butterfly100/p/9034281.html 一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引 ...
分类：
其他好文 时间：
2018-05-19 21:22:55
阅读次数：
163
