原文作者: xingguang 原文链接: "https://www.tiance.club/post/1182994018.html" 1.分片 分片是什么?分片就是将数据存储在多个机器上。当数据集超过单台服务器的容量,服务器的内存,磁盘IO都会有问题,即超过单台服务器的性能瓶颈。此时有两种解决方 ...
分类:
数据库 时间:
2020-05-05 12:35:19
阅读次数:
143
原文作者: xingguang 原文链接: "https://www.tiance.club/post/3134727742.html" 分片集群 1.1、概念 分片集群是将数据存储在多台机器上的操作,主要由查询路由mongos、分片、配置服务器组成。 ●查询路由根据配置服务器上的元数据将请求分发到 ...
分类:
数据库 时间:
2020-05-05 12:34:47
阅读次数:
92
ELK是由 Elasticsearch、Logstash和Kibana 三部分组件组成。 Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash 是一个完全开源的工具, ...
分类:
其他好文 时间:
2020-05-04 21:07:14
阅读次数:
72
1、什么是分片上传 分片上传就是把一个大的文件分成若干块,一块一块的传输。这样做的好处可以减少重新上传的开销。比如:如果我们上传的文件是一个很大的文件,那么上传的时间应该会比较久,再加上网络不稳定各种因素的影响,很容易导致传输中断,用户除了重新上传文件外没有其他的办法,但是我们可以使用分片上传来解决 ...
分类:
Web程序 时间:
2020-05-04 13:30:50
阅读次数:
69
最近做了一个需求,需要加解密大文件,并返回真实加解密进度,因为大文件,所以必须要使用到分片上传。有时候前台分片之后,后台需要合并。前台分片上传没什么太大的问题,就是根据buffer或者blob去分割文件即可。主要是后台合并会遇到一些问题。后台合并的方法有很多,以Node.js为例,可以使用以下方式: ...
分类:
Web程序 时间:
2020-05-04 13:21:36
阅读次数:
133
介绍: Sharding-JDBC,定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。 Sharding-JDBC的核心功能为 数据分片 和 读写分离 ...
分类:
数据库 时间:
2020-05-02 18:39:54
阅读次数:
381
线程上下文切换(Thread Context Switch ) 定义 CPU执行线程的时候是通过时间分片的方式来轮流执行的,当某一个线程的时间片用完(到期),那么这个线程就会被中断,CPU不再执行当前线程,CPU会把使用权给其它线程来执行。如T1线程未执行结束,T2/T3线程插进来执行了,若干时间后 ...
分类:
编程语言 时间:
2020-05-01 20:14:22
阅读次数:
71
原文地址: 先认识几个东西: 1、Elasticsearch : 开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。 2、Logstash : 完全开源的工具,对日志进行收集、分析,并将其存储供以后使用(如,搜 ...
分类:
其他好文 时间:
2020-05-01 16:48:36
阅读次数:
89
核心原理: 该项目核心就是文件分块上传。前后端要高度配合,需要双方约定好一些数据,才能完成大文件分块,我们在项目中要重点解决的以下问题。 * 如何分片; * 如何合成一个文件; * 中断了从哪个分片开始。 如何分,利用强大的js库,来减轻我们的工作,市场上已经能有关于大文件分块的轮子,虽然程序员的天 ...
分类:
编程语言 时间:
2020-04-29 18:18:26
阅读次数:
174