将存放在同一个数据库中的数据分散存放到多个数据库上，实现分布存储，通过路由规则路由访问特定的数据库这样一来每次访问面对的就不是单台服务器了，而是N台服务器，这样就可以降低单台机器的负载压力。sqlserver 2005版本之后，可以友好的支持“表分区”。 垂直(纵向)拆分：是指按功能模块拆分，比如分 ...
分类：
数据库 时间：
2020-04-16 14:56:15
阅读次数：
96
问题 1) 容量不够，redis如何进行扩容？ 2) 并发写操作， redis如何分摊？ 什么是集群 1) Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。 2) Redis 集群通过分区（partition）来 ...
分类：
其他好文 时间：
2020-03-29 17:56:07
阅读次数：
91
第十三章、大规模数据库架构 内容提要： 1、了解分布式数据库技术 2、了解并行数据库技术 3、了解云数据库技术 4、了解XML数据库技术 第一节 分布式数据库 1.1、分布式数据库系统概述 分布式数据库系统与分布式数据库的区别： 分布式数据库系统——数据分布存储于若干场地，并且每个场地由独立于其它场 ...
分类：
数据库 时间：
2020-03-22 09:13:52
阅读次数：
91
JobTracker 分配工作给若干机器. TaskTracker: 负责监督 光纤交换机. 块的概念: 一个块 64M. 还可以是 128M. 大文件切割成这种小块, 然后分布存储在不同机器上. 当然也可以并行处理. 名称节点: 整个 HDFS 集群管家, 负责元数据的存储. (index 数据块 ...
分类：
其他好文 时间：
2020-02-29 13:14:19
阅读次数：
78
Redis集群 author:QYX 问题: 容量不够？redis如何进行扩容？ 并发写操作，redis如何分摊? 什么是集群? Redis集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这个N个节点中，每个节点存储总数据的1/N Redis集群通过分区(parti ...
分类：
其他好文 时间：
2020-01-21 00:21:12
阅读次数：
76
RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，能横跨集群所有节点并行计算，是一种基于工作集的应用抽象。 RDD底层存储原理：其数据分布存储于多台机器上，事实上，每个RDD的数据都以Block的形式存储于多台机器上，每个Executor会启动一个Blo ...
分类：
其他好文 时间：
2019-11-09 19:19:31
阅读次数：
127
HDFS开发 HDFS理论讲解 集群和分布式概念 集群：集群就是逻辑上处理统一任务的机器集合，可以属于同一机房，也可以分属不同的机房 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 分布式文件系统的结构 主节点 名称节点 数据节点 HDFS架构 块 HDF ...
分类：
其他好文 时间：
2019-10-29 10:00:45
阅读次数：
85
数据库是什么 字面意思：存储数据库的仓库 为啥使用使用数据库 之前使用的excel来进行管理数据 excel的缺点 1. 只能管理少量的数据，管理不了大量的数据（10w量级的数据） 2. 不能两个人同时操作一个数据表格 3. 数据安全问题 数据库支持高级的操作，比如分组，连表等 数据库分类 关系型数 ...
分类：
数据库 时间：
2019-10-29 09:49:57
阅读次数：
90
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2019-10-28 12:24:49
阅读次数：
75
MFS是：具有容错功能的、高可用、可扩展的海量级分布式文件系统，把数据分布存储在多台服务器，对外提供统一访问入口；包含层级结构、文件属性，也可以创建特殊文件。分布式文件系统（DFS）：文件系统管理的物理存储资源不一定直接链接在本地节点，而是通过网络相连接的节点。MFS的优点：集中访问、简化操作、数据容灾、提高文件存取性能。MFS组成（角色）：元数据服务器（Master，存在单点故障）、元数据日志服
分类：
其他好文 时间：
2019-06-11 13:18:25
阅读次数：
144
