1、redis分布式锁的基本实现 redis加锁命令： 这个命令的作用是在只有这个key不存在的时候才会设置这个key的值（NX选项的作用），超时时间设为30000毫秒（PX选项的作用） 这个key的值设为“my_random_value”。这个值必须在所有获取锁请求的客户端里保持唯一。 SETNX ...
分类：
其他好文 时间：
2020-01-14 00:08:41
阅读次数：
123
"LuoguP3966" 题目大意：给定若干个字符串，求它们组成的文章中，每个单词出现的次数。输入有重复。 $Solution$ : 多模式匹配，直接上$AC$自动机咯。但是注意到，因为有重复，所以造成建立自动机的时候，$Trie$上的字符串编号会被覆盖。对答案造成错误影响。 那么我们可以人工去重， ...
分类：
其他好文 时间：
2020-01-13 22:16:21
阅读次数：
88
FAQ Q: 如何确保消息不丢失？ Q: mq 的缺点 Q: 如何避免消息重复投递或重复消费？ 在消息 时，MQ 内部针对每条生产者发送的消息生成一个 inner msg id，作为去重的依据（消息投递失败并重传），避免重复的消息进入队列； 在消息 时，要求消息体中必须要有一个 bizId（对于同一 ...
分类：
其他好文 时间：
2020-01-13 19:40:08
阅读次数：
63
1 #!/bin/bash 2 ############################################################### 3 #Author :Bing # 4 #Create Time:11/26/2019 # 5 ###################### ...
分类：
其他好文 时间：
2020-01-13 10:37:31
阅读次数：
82
去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。此篇介 ...
分类：
其他好文 时间：
2020-01-12 22:11:42
阅读次数：
466
HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81%的情况下统计2^64个数据，在这种大数据量情况下能够减少存储空间的消耗，但是前提是允许存在一定 ...
分类：
其他好文 时间：
2020-01-12 22:00:49
阅读次数：
106
在Flink去重第一弹:MapState去重中介绍了使用编码方式完成去重，但是这种方式开发周期比较长，我们可能需要针对不同的业务逻辑实现不同的编码，对于业务开发来说也需要熟悉Flink编码，也会增加相应的成本，我们更多希望能够以sql的方式提供给业务开发完成自己的去重逻辑。本篇介绍如何使用sql方式 ...
分类：
数据库 时间：
2020-01-12 21:44:40
阅读次数：
188
1、filter方法，接收一个函数作为参数，新建一个数组，遍历数组内的每个元素，符合条件的返回 function getOne(a,b){ var arr = a.concat(b); return arr.filter(function(item,index){ return arr.indexO ...
分类：
编程语言 时间：
2020-01-12 18:37:50
阅读次数：
102
最全哦 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-e ...
分类：
编程语言 时间：
2020-01-12 14:54:40
阅读次数：
57
怎么快速的对列表进行去重呢，去重之后原来的顺序会不会改变呢？ 去重之后顺序会改变 set去重 列表去重改变原列表的顺序了 但是，可以通过列表中索引（index）的方法保证去重后的顺序不变。 itertools.groupby fromkeys 通过删除索引 去重不改变顺序 建立新列表[] reduc ...
分类：
编程语言 时间：
2020-01-11 22:08:40
阅读次数：
83
