RDB 将redis内存中的数据一次完整地写入一个二进制文件中,复杂度是O(n),生成的新文件会将老的rdb文件替换,相关指令: save:阻塞直至快照是生成完成 bgsave:创建后台进程来生成快照,fork生成子进程的过程是阻塞的,但一般来说这个过程比较快,创建的子进程名字是redis-rdb- ...
分类:
其他好文 时间:
2020-01-03 10:32:35
阅读次数:
55
docker:搭建ELK 开源日志分析系统 ELK 是由三部分组成的一套日志分析系统, Elasticsearch: 基于json分析搜索引擎,Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片, 索引副本机制,restful风格接口,多数据源,自动 ...
分类:
其他好文 时间:
2020-01-02 18:45:00
阅读次数:
133
本文详细介绍和说明了mongodb sharding的搭建、配置、应用、维护等方面内容,记录于此,供各位同学及自己参考研究。 ...
分类:
数据库 时间:
2020-01-02 18:27:19
阅读次数:
88
总结一下大文件分片上传和断点续传的问题。因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能,当传输的文件比较大时,http协议自动会将文件切片(分块),但这不是我们现在说的重点,我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次 ...
分类:
其他好文 时间:
2020-01-02 15:44:53
阅读次数:
107
分区,又称为分片,是解决大数据存储的常见解决方案,大数据存储量超过了单节点的存储上限,因此需要进行分区操作将数据分散存储在不同节点上,通常每个单个分区可以理解成一个小型的数据库,尽管数据库能同时支持多个分区操作;分区引入多分区概念,可以同时对外服务提高性能。 常常和分区一并提及的概念是复制,分区通常 ...
分类:
其他好文 时间:
2020-01-01 18:35:37
阅读次数:
107
[toc] 1. 上传页面代码 2. nginx配置 3. 后台主要代码 3.1 application.yml 3.2 跨域处理 3.3 控制器代码 3.4 service代码 4. 执行测试 ...
分类:
编程语言 时间:
2020-01-01 16:43:14
阅读次数:
83
分库分表之第五篇 9.案例 9.1.需求描述 9.2.数据库设计 9.3.环境说明 9.4.环境准备 9.4.1.mysql主从同步(windows) 9.4.2.初始化数据库 9.5.实现步骤 9.5.1搭建maven工程 9.5.2 分片配置 9.5.3 添加商品 9.5.4 查询商品 9.5. ...
分类:
其他好文 时间:
2020-01-01 11:39:01
阅读次数:
124
总结一下大文件分片上传和断点续传的问题。因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能,当传输的文件比较大时,http协议自动会将文件切片(分块),但这不是我们现在说的重点,我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次 ...
分类:
Web程序 时间:
2019-12-31 14:26:37
阅读次数:
219
核心原理: 该项目核心就是文件分块上传。前后端要高度配合,需要双方约定好一些数据,才能完成大文件分块,我们在项目中要重点解决的以下问题。 * 如何分片; * 如何合成一个文件; * 中断了从哪个分片开始。 如何分,利用强大的js库,来减轻我们的工作,市场上已经能有关于大文件分块的轮子,虽然程序员的天 ...
分类:
Web程序 时间:
2019-12-31 12:29:07
阅读次数:
104
最近遇见一个需要上传百兆大文件的需求,调研了七牛和腾讯云的切片分段上传功能,因此在此整理前端大文件上传相关功能的实现。 在某些业务中,大文件上传是一个比较重要的交互场景,如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大,或者网络条件不好时,上传的时间会比较长(要传输更多的报文 ...
分类:
Web程序 时间:
2019-12-31 10:59:50
阅读次数:
132