前言 近段时间在了解分布式时，经常绕不开一个算法: 一致性哈希算法。于是在了解并实践这个算法后，就有了此文章。 算法间的对比 在分布式分片中，存在着几种算法: 取模，分段，一致性 hash。 取模 分段 一致性哈希 上层是否感知 是 是 否 迁移成本 高 高 低，只涉及相邻节点 单点故障影响 高 高 ...
分类：
编程语言 时间：
2021-02-04 12:15:26
阅读次数：
0
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2021-01-27 13:42:33
阅读次数：
0
前言 为什么要用ElasticSearch？我们的应用经常需要添加检索功能，开源的Elastic Search是目前全文检索引擎的首选。它可以快速的存储、搜索和分析海量数据。ElasticSearch是一个分布式搜索框架，提供RestfulAPI，底层基于Lucene，采用多shard（分片）的方式 ...
分类：
其他好文 时间：
2021-01-26 12:09:17
阅读次数：
0
Clickhouse写入问题汇总 Zookeeper相关 当clickhouse在建表时使用了Replicated引擎族时, 会对zookeeper有非常重的依赖, 这时候就要注意zookeeper集群的一些优化项. clickhouse集群两分片两副本(4C8G),实测每分钟80W数据量的情况下, ...
分类：
其他好文 时间：
2021-01-15 11:41:46
阅读次数：
0
这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数 下面直接贴代码吧，一些难懂的我大部分都加上注释了： 上传文件实体类： 看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。 public cla ...
分类：
Web程序 时间：
2021-01-08 10:50:06
阅读次数：
0
>>> test1 = ["aa","bb","cc","dd","ee","ff"] >>> type(test1) <class 'list'> >>> len(test1) 6 >>> test1[0:3] ## 不包含索引为3的元素 ['aa', 'bb', 'cc'] >>> test1[ ...
分类：
编程语言 时间：
2020-12-23 12:31:49
阅读次数：
0
描述 xxl-job elastic-job（lite） saturn 主要作者 大众点评徐雪里 当当网张亮 唯品会开源，基于elastic-job 特殊环境 mysql5.7+ zookeeper 同elastic-job 特殊功能 策略丰富，支持分片 ，子任务 支持分片，分片策略比xxl-job ...
分类：
其他好文 时间：
2020-12-18 12:27:17
阅读次数：
2
背景说明公司的整个电商系统搭建在华为云上，根据老总的估计，上线3个月之后日订单量会达到百万级别，保守估计3个月之后总订单个数预计会有5千万。MySQL单表达到千万级别，就会出现明显的性能问题。根据如此规模的数据，当时考虑了2套解决方案：方案一在业务上根据用户ID做拆分，将数据打散放在5台32U128G的华为云RDS上边方案二直接使用华为云的分布式数据库中间件DDM方案一的好处是，分片算法全部在业务
分类：
数据库 时间：
2020-12-14 13:58:12
阅读次数：
15
ES集群下线节点扩容，然后在上线 1、将节点从集群路由策略中排除 PUT _cluster/settings { "transient" : { "cluster.routing.allocation.exclude._name" : "node-1" } } 2、等待节点上分片全部被迁移 3、下线 ...
分类：
其他好文 时间：
2020-12-14 13:34:02
阅读次数：
4
本文将继续介绍elasticsearch索引监控之Indicessegments与IndicesShardstoresapi。IndicesSegments提供Lucene索引(分片级别)使用的segments(段信息)。其对应的示例代码如下：1publicstaticfinalvoidtest_Indices_segments(){2TransportClientclient=EsClient.
