日常工作中很多场景下需要用到分布式锁，例如：任务运行（多个节点同一时刻同一个任务只能在一个节点上运行（分片任务除外）），交易请求接收（前端交易请求发送时，可能由于两次提交，后端需要识别出这是一个交易）等，怎么样实现一个分布式锁呢？一般有：zookeeper、redis、database等三种实现方式 ...
分类：
其他好文 时间：
2020-05-10 21:30:23
阅读次数：
67
关于redis的相关总结 1.什么是redis? 2. 缓存中间件——Memcache和redis的区别？ Memcache： 代码层次类似哈希，不支持简单数据类型，不支持分片，不支持主从分布，不支持持久化存储。 redis 数据类型丰富，支持主从分布，支持分片，支持持久化存储 3.为什么redis ...
分类：
其他好文 时间：
2020-05-10 18:59:54
阅读次数：
65
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2020-05-09 17:01:18
阅读次数：
63
Refresh及Flush乍一看，Refresh和Flush操作的通用目的似乎是相同的。 两者都用于使文档在索引操作后立即可供搜索。 在Elasticsearch中添加新文档时，我们可以对索引调用_refresh或_flush操作，以使新文档可用于搜索。 要了解这些操作的工作方式，您必须熟悉Luce ...
分类：
其他好文 时间：
2020-05-08 17:56:24
阅读次数：
85
一.限制单个index在单个节点上的总shard数。index.routing.allocation.total_shards_per_node一般在冷热分离的场景种，冷数据会设置副本，热数据为了保证写入速度，只有主分片。当以均衡index中的shard数为目的，设置了该限制后，若冷数据节点数不够，... ...
分类：
其他好文 时间：
2020-05-08 17:50:24
阅读次数：
244
1.1 Node节点维度 参考博客：https://www.jianshu.com/p/b50d7fdbe544 1、多节点的集群方案 1. 路由一个文档到一个分片中：当索引一个文档的时候，文档会被存储到一个主分片中。 2. Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？实际上 ...
分类：
其他好文 时间：
2020-05-07 15:11:30
阅读次数：
70
Redis集群是Redis提供的分布式数据库方案，集群通过分片来进行数据共享，并提供复制和故障转移。 节点 一个Redis集群通常由多个节点组成，每个节点互相关联，构成一个多个节点组成的集群。可以通过CLUSTER MEET命令完成连接各个节点的工作。 CLUSTER MEET <ip> <port ...
分类：
其他好文 时间：
2020-05-06 22:06:10
阅读次数：
85
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
编程语言 时间：
2020-05-06 18:02:50
阅读次数：
116
1.pulsar概述 Apache Pulsar 是灵活的发布-订阅消息系统（Flexible Pub/Sub messaging），采用分层分片架构（backed by durable log/stream storage）。 Apache Pulsar 是一个开源的分布式pub-sub消息系统， ...
分类：
其他好文 时间：
2020-05-06 17:53:05
阅读次数：
75
