String removeDuplicateLetters(String s) { Stack<Character> stk = new Stack<>(); // 维护一个计数器记录字符串中字符的数量 // 因为输入为 ASCII 字符，大小 256 够用了 int[] count = new i ...
分类：
其他好文 时间：
2021-04-13 11:42:41
阅读次数：
0
package com.zsins.risk.util; import java.io.Serializable; public class LongMap implements BitMap, Serializable { private static final long serialVersi ...
分类：
其他好文 时间：
2020-07-23 18:59:01
阅读次数：
90
（简答题）1.如果让你来设计数据仓库并搭建相关可视化报表,你会考虑哪些问题。 1. 数据推送方式与批次，是推送增量还是推送全量，是一天一次还是一天两次；2. 推送全量的就全删全插，推送增量的涉及到时间拉链的取法，是滚动时间还是平滑时间；3. 多次推送的还涉及到数据去重的问题；4. 从源端推送过来的数 ...
分类：
其他好文 时间：
2020-07-15 10:45:58
阅读次数：
180
本节目录 常用函数一：获取指定文件夹内所有文件 常用函数二：文本分词 常用函数三：词频统计 常用函数四：数据去重 写在前面 写代码也有很长时间了，总觉得应该做点什么有价值的事情，写代码初始阶段觉得做更多的项目，积累更多的经验是自己应该做的事情，这样可以使自己短时间内技术水平获得较大的提升。随着代码量 ...
分类：
编程语言 时间：
2020-07-04 01:44:15
阅读次数：
69
为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重 ...
分类：
其他好文 时间：
2020-06-20 11:32:28
阅读次数：
67
存在一个表而不在另一个表中的数据 A、B两表，找出ID字段中，存在A表，但是不存在B表的数据。A表总共13w数据，去重后大约3W条数据，B表有2W条数据，且B表的ID字段有索引。 方法一 使用 not in ,容易理解,效率低 ~执行时间为：1.395秒~ select distinct A.ID ...
分类：
数据库 时间：
2020-06-08 19:23:39
阅读次数：
90
在Redis的缓存穿透中了解到布隆过滤器，不禁想来了解一番其奇妙之处 1. 布隆过滤器的作用 判断传入数据是否已经存在，由这个基本功能可以泛生出： 防止Redis缓存穿透 海里数据去重 垃圾邮件过滤 2. 什么是布隆过滤器 布隆过滤器（Bloom Filter）是1970年由一个叫布隆的人提出的，它 ...
分类：
其他好文 时间：
2020-04-13 00:18:55
阅读次数：
72
总会碰到一些奇奇怪怪的需求，各种加字段阿、建视图阿等等，然后使用了group by 还是没有达到想要的结果，那咋办嘛。 0.需求背景 根据MLOT重复字段 取 TRANSACTIONTIME 最小时间的一列, (MLOT已经用过group by分组 order by排序) 所以我们可以用（ROWNU ...
分类：
数据库 时间：
2020-04-12 10:24:37
阅读次数：
361
原文链接： https://www.toutiao.com/i6764933201203823107/ 概念：“数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 数据去重的最终目标是让原始数据 ...
分类：
其他好文 时间：
2020-03-20 00:27:36
阅读次数：
75
