概述 Map Reduce 分布式并行编程：借助一个集群通过多台机器同时并行处理大规模数据集 1、mapreduce编程思想 核心设计两个函数：Map函数和Reduce函数 策略：分而治之，把非常庞大的数据集，切分成非常多独立的小分片，然后为每一个分片单独地启动一个map任务，最终通过多个map任务 ...
分类：
其他好文 时间：
2020-05-18 00:31:27
阅读次数：
133
ES基础： 索引（index）：逻辑存储，相当于关系型数据库的表。每个索引有一或多个分片（shard） 每个分片有多个副本（replica） 分片（shard）：单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个分片（shard），分布在多台服务器上存储。有了分片（shard）就可以横向 ...
分类：
其他好文 时间：
2020-05-16 10:48:22
阅读次数：
66
[分享]浅谈分布式数据库 1、先抛出两个问题 问题一、当mysql单表数据量爆炸时，你怎么办？ 问题二、当你的数据库无法承受高强度io时你怎么办？ 2、 基本概念 2.1 谈数据库分片需要首先确定以下概念 ? 1) 单库,就是一个库 ? 2) 分片(sharding)，分片解决扩展性问题，属于水平拆 ...
分类：
数据库 时间：
2020-05-16 00:19:25
阅读次数：
94
总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次 ...
分类：
Web程序 时间：
2020-05-14 17:21:51
阅读次数：
81
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2020-05-13 12:39:38
阅读次数：
61
关于HLS，上篇咱们已经讲过，它基于http协议，内容包括两部分：m3u8描述文件，ts媒体文件。它可以实现视频直播，不过直播有点延迟，延迟大小与循环体的大小有关。我们将要利用它的循环体，来实现大视频的分片下载播放。问：怎么将一个视频分片得到m3u8文件?答：利用ffmpeg工具。问：那么什么是FFmpeg呢？答：FFmpeg是一套可以用来记录、转换数字音频、视频，并且将其转化为流的开源程序。它提
分类：
其他好文 时间：
2020-05-13 09:52:08
阅读次数：
64
Dart库引入第三方库懒加载(延时加载)deferred as库分片partTOC Dart库 Dart中的库主要有三种: 1、我们自定义的库 import 'lib/xxx.dart; import '../../part-two/chapter3/enum.dart'; 2、系统内置库 impo... ...
分类：
其他好文 时间：
2020-05-12 18:50:32
阅读次数：
255
文章讲到的说 redis 集群指的是 redis-cluster 集群方式问题 ：redis-cluster 数据是分片的，那么是如何分片的，增加和减少节点如何处理的redis 使用了一种叫 hash slot 的方式而非一致性hash 算法，增加和减少节点将会迁移某个节点的数据。redis-clu... ...
分类：
其他好文 时间：
2020-05-12 17:03:30
阅读次数：
80
这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数 下面直接贴代码吧，一些难懂的我大部分都加上注释了： 上传文件实体类： 看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。 public cla ...
分类：
Web程序 时间：
2020-05-11 18:18:18
阅读次数：
75
Mongodb 搭建高可用集群（分片+副本集） 分片与副本集的区别？ 在上一篇我们学习了集群配置--副本集的配置, 副本集是集群配置的方式, 分片也是集群配置的方式, 那么这两种方式的区别是什么? 副本集（replica Set） 一个副本集中每一个节点上的数据都相同（从节点复制主节点数据），保证数 ...
分类：
其他好文 时间：
2020-05-10 23:06:09
阅读次数：
101
