a = frame.drop_duplicates(subset=['pop'],keep='first') #保留重复数据的第一个 b = frame.drop_duplicates(subset=['pop'],keep=False) #去掉重复的数据 ...
分类：
其他好文 时间：
2020-06-26 16:06:44
阅读次数：
40
Git&GitHub 1. 版本控制工具应该具备的功能 协同修改 多人并行不悖的修改服务器端的同一个文件 数据备份 不仅保存目录和文件的当前状态，还能够保存每一个提交过的历史状态 版本管理 在保存每一个版本的文件信息的时候要做到不包吃重复数据，以节约存储空间，提高运行效率。 这方面SVN采用的是销量 ...
分类：
其他好文 时间：
2020-06-26 13:10:55
阅读次数：
75
为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重 ...
分类：
其他好文 时间：
2020-06-20 11:32:28
阅读次数：
67
早上写了一篇 Elasticsearch去重查询/过滤重复数据（聚合） 但是没写分页实现，因为网上和书上暂时没查到什么方便又好的聚合后分页方式，不是我故意不写的 之前也看了下面这篇文章 Elasticsearch聚合后分页深入详解 文章里面说了，es本身不支持分页，因为性能和正确性得不到保障，作者提 ...
分类：
其他好文 时间：
2020-06-16 12:55:56
阅读次数：
432
是时候淘汰对操作系统的 fork() 调用了 - InfoQ 概述 一般观点认为针对线程创建 Unix 的 fork() 与 exec() 的组合堪称绝配，但微软研究院与波士顿大学联合发表的一篇论文则提出了相反的观点。他们认为 fork 在当下早已过时，对操作系统和应用程序的设计弊大于利，并给出了一 ...
分类：
其他好文 时间：
2020-06-12 20:18:32
阅读次数：
58
题目描述： 在 2.5 亿个整数中找出不重复的整数。注意：内存不足以容纳这 2.5 亿个整数。 分析与解答： 由于这道题目与前面的题目类似，也是无法一次性把所有数据加载到内存中，因此也可以采用类似的方法求解。 方法一：分治法 采用 hash 函数的方法，把这 2.5 亿个整数划分到更小的文件中，从而 ...
分类：
其他好文 时间：
2020-06-10 21:18:33
阅读次数：
101
CDN详解 CDN(Content Delivery Network或Content Ddistribute Network), 即内容分发网络 基础架构与服务模式 最简单的CDN网络由一个DNS服务器和几台缓存服务器组成： 当用户点击网站页面上的内容URL，经过本地DNS系统解析，DNS系统会最终 ...
分类：
其他好文 时间：
2020-06-09 16:27:43
阅读次数：
90
并发，二分法判断。 源码写的有点垃圾，有点乱，结果也存在一些缺失。 记录： sql：select distinct 中的distinct选项，这是只会获取你表中不重复数据，是表中，而不是你一次sql执行的结果显示中，原来一直记成一次执行结果中。 golang： 因为是并发，所以哪一位的字符先跑完是不 ...
分类：
数据库 时间：
2020-06-09 12:36:33
阅读次数：
73
delete from table where order_no in (select orderno from (select order_no as orderno from table group by order_no having count(order_no) > 1) a) and i ...
分类：
数据库 时间：
2020-06-09 09:48:35
阅读次数：
64
数据库的CUDR 一、create create table tbl_name( attribute1 int, attribute2 varchar20, ) 二、update update 三、delect 四、read 数据的读操作是重点 4.1 简单的数据记录查询 1、读取不重复数据 dis ...
分类：
数据库 时间：
2020-06-07 14:54:01
阅读次数：
144
