Redis在日常部署的时候，可以有多种部署模式：单机、主从、哨兵、集群（分区分片），因此本例将对上面这四种模式进行详细的讲解，特别是集群模式将进行最细致的讲解（现行普遍使用的方式）。 一、单机部署 单机部署很简单，直接下载Redis进行安装即可，此处不作详细讲解，具体Redis的安装请参考：Mac下 ...
分类：
其他好文 时间：
2020-04-07 09:15:04
阅读次数：
84
1、分片和副本机制 1、index包含多个shard 2、每个shard都是一个最小工作单元，承担部分数据；每个shard都是一个lucene示例，有完整的建立索引和处理请求的能力 3、增减节点时，shard会自动在nodes中负载均衡 4、primary shard和replica shard，每 ...
分类：
其他好文 时间：
2020-04-06 10:03:16
阅读次数：
83
重温MR整体流程 工作流程 开始执行输入（InputFormat），先对文件进行分片，然后读取数据输入到Map中。 Mapper读取输入内容，解析成键值对，1行内容解析成1个键值对，每个键值对调用一次map方法。 每个键值对执行map重写的方法，把输入的键值对转换成新的键值对。 多个Mapper的输 ...
分类：
其他好文 时间：
2020-04-05 00:16:31
阅读次数：
65
可扩展性就是当增加资源以处理负载和增加容量时系统能够获得的投资产出率（ROI）。 一、规划可扩展性 二、为扩展赢得时间 优化性能 购买性能更强的硬件 三、向上扩展 四、向外扩展 可以把向外扩展（有时也称为横向扩展或者水平扩展）策略划分为三个部分：复制、拆分，以及数据分片（sharding）。 最常见 ...
分类：
数据库 时间：
2020-04-03 20:06:35
阅读次数：
78
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2020-04-02 18:04:55
阅读次数：
77
这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数 下面直接贴代码吧，一些难懂的我大部分都加上注释了： 上传文件实体类： 看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。 public cla ...
分类：
编程语言 时间：
2020-03-27 13:02:01
阅读次数：
94
我们平时经常做的是上传文件，上传文件夹与上传文件类似，但也有一些不同之处，这次做了上传文件夹就记录下以备后用。 这次项目的需求： 支持大文件的上传和续传，要求续传支持所有浏览器，包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全浏览器，并且刷新浏览器后仍然能够续传，重启浏览 ...
分类：
Web程序 时间：
2020-03-27 11:01:32
阅读次数：
133
FormData 接口提供了一种表示表单数据的键值对的构造方式，经过它的数据可以使用 XMLHttpRequest.send() 方法送出，本接口和此方法都相当简单直接。如果送出时的编码类型被设为 "multipart/form-data"，它会使用和表单一样的格式。 如果你想构建一个简单的GET请 ...
分类：
Web程序 时间：
2020-03-26 21:15:31
阅读次数：
88
以ASP.NET Core WebAPI 作后端 API ，用 Vue 构建前端页面，用 Axios 从前端访问后端 API ,包括文件的上传和下载。 准备文件上传的API #region 文件上传 可以带参数 [HttpPost("upload")] public JsonResult uploa ...
分类：
Web程序 时间：
2020-03-26 12:15:17
阅读次数：
85
常见的优化数据库结构方法： 字段多的表分解多个表，分库分表 中间表 适当增加冗余字段 接下来具体说下分库分表。 1、垂直分表 表的相关性拆分不同的表，表现形式一张列比较多的表拆分多张子表。 特点： 多张子表需要主键，所以主键出现冗余 这种场景使用元表中，尤有些列常用，有些列不常用 查询所有数据要jo ...
分类：
数据库 时间：
2020-03-23 15:24:16
阅读次数：
92
