一. 水平拆分 sharding 1. 解决数据量和访问量增加后对单节点造成的性能压力；水平拆分后的每个节点存储和处理的数据原则上没有交集； 2. 数据分布： hash映射：将不可控的业务值域key均匀映射到可控的有限值域（hash值）上，再将均匀分布的hash值枚举的映射到redis实例上； 范围 ...
分类：
其他好文 时间：
2020-03-21 10:09:21
阅读次数：
76
原文链接：https://blog.csdn.net/fjssharpsword/article/details/74911180 知识点：数据分布特征的描述1、变量集中趋势的测定 变量在不同个体或不同时间条件下具体表现出来的数据是不同的，不过众多个体的数据常常会呈现出在一定范围内围绕某个中心而波动 ...
分类：
其他好文 时间：
2020-03-20 14:21:21
阅读次数：
134
#### 如何做好分片集群 * 合理的架构 * 是否需要分片？ * 要分多少片？ * 数据分布规则？ * 正确的姿势 * 选择需要分片的表 * 选择正确的片键 * 使用合适的均衡策略 * 足够的资源 * CPU * RAM * 存储1. 合理的架构-分片大小 * 分片的基本标准： * 分片的基本标准 ...
分类：
数据库 时间：
2020-03-18 21:53:51
阅读次数：
80
大数据开发总体架构： Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群，将海量数据分布式的存储在集群中，并使用分布式并行程序来处理这些数据。 Hadoop由许多子系统组成，如下图： Hadoop1.x与2.x的对比： YARN：管理集群资源（内存、CPU） ...
分类：
其他好文 时间：
2020-03-17 19:30:09
阅读次数：
49
摘要 排序引起的慢查询，通常不是那么容易发现,经常和数据分布有关系。往往在业务刚开始时并没有什么问题，但是随着业务的发展，数据分布呈现一种特定的规律，导致了慢查询，或者并不是什么慢查询，但是随着并发请求数增加，数据库的IOPS使用率变高，进一步导致cpu/内存使用率飙高。造成线上故障。 问题 因为排 ...
分类：
编程语言 时间：
2020-03-16 21:56:40
阅读次数：
69
Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。
作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty的NIO框架构建。
分类：
编程语言 时间：
2020-03-08 23:19:21
阅读次数：
82
直方图：对比关系 直方图是一种统计报告图，是表示资料变化情况的主要工具。直方图由一系列高度不等的的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型，纵轴表示分布情况。 例1： 1.右键单击图表的纵坐标轴数据，选择“设置坐标轴格式”命令打开窗格，在“坐标轴选项”下，各类数据设置如下： 2.右键 ...
分类：
其他好文 时间：
2020-03-03 20:53:06
阅读次数：
89
人类的学习：经验→（大脑思考）→规律 机器的归纳学习：数据→（学习算法）→模型 所以说学习算法是一个模拟人类大脑思考的过程。 1）数据： 数据存储于计算机中，以训练集D的形式存在，D=｛x1 ，x2 ，... ，xm｝其中x1~m为m个样本（示例）。 样本x i =｛xi1，xi2，...，xid｝ ...
分类：
其他好文 时间：
2020-03-02 12:47:17
阅读次数：
65
什么是高斯混合模型 高斯混合模型（GMM）认为，一个数据分布可以有几个高斯分布组合而成。 参考博客：| "知乎" | 高斯混合模型聚类 对于一个多类别数据集合，所有类别各自的数据分布的组合就是整体数据分布。这非常符合高斯混合模型理论。我们可以用一个生活化一点的例子来说明高斯混合模型聚类。假设有一堆颜 ...
分类：
其他好文 时间：
2020-02-28 23:04:31
阅读次数：
73
*探索性数据分析：用于初步检验数据的质量，需计算各类数据特征指标。 本文框架： 探索数据分布（Exploratory Data Distribution，EDD） 缺失率（Missing Rate） 重复值（Duplicate Value） 单一值（Unique Value） 其他数据质量检查（Qu ...
分类：
其他好文 时间：
2020-02-28 18:33:00
阅读次数：
89
