# -*- coding: utf-8 -*- import redisfrom constant import redis_ip, redis_db, redis_pw, logger, redis_zset_clean_date, redis_zset_name, \ move_file_lmp ...
分类：
编程语言 时间：
2019-08-04 15:04:24
阅读次数：
166
数据去重 生成指纹：利用hashlib的sha1，对request的请求体、请求url、请求方法进行加密，返回一个40位长度的16进制的字符串，称为指纹 进队： 如果请求需要过滤，并且当前请求的指纹已经在指纹集合中存在了，就不能进入队列了 如果请求需要过滤，并且请求的指纹是一个新的指纹，进入队列 如 ...
分类：
其他好文 时间：
2019-08-03 21:11:24
阅读次数：
75
前言： 小白的js之路...... 1. 遍历数组/集合 forEach 2. 数组过滤filter()和查找find() 3. 将数组转为一个字符串join() join() 方法用于把数组中的所有元素转换一个字符串, 元素是通过指定的分隔符进行分隔的。 4. 采用set()去重数组元素 5. 插 ...
分类：
编程语言 时间：
2019-08-03 12:48:13
阅读次数：
110
注意： 1、集合运算默认是排序的，按升序排，采用ascII的方式，union all除外； 2、集合运算默认都要去重，union all除外； union：取两个集合的并集，不过重复的部分只取一份； union all：取两个集合的并集，重复的部分取两份； ...
分类：
其他好文 时间：
2019-08-03 11:08:07
阅读次数：
96
题目链接 题意：每次给出两个字母 和 只有这两个字母的原字符串的子序列，最后让你输出原字符串。 思路：先将字符转换为hash值，然后再转换成图，就是一个拓扑排序了，然后满足不了的情况有两种，一个是构造不了给出的n字符串大小，还有就是字母去重后多了。 ...
分类：
其他好文 时间：
2019-08-02 21:09:34
阅读次数：
131
背景： 大量图片，但个图片只是名字不一样，内容一样，需要去重 date;find /home/admin/image -name *.jpeg | xargs md5sum|sort >allfiles;cat allfiles |uniq -w 32 > uniqfiles;comm allfil ...
分类：
系统相关 时间：
2019-08-02 11:12:23
阅读次数：
121
''' 数据的清洗 1.检测与处理重复值 2.检测与处理缺失值 3.检测与处理异常值 ''' import numpy as np import pandas as pd # 去重:按照A列去重，同时保留第一个数据且在原表去重 data = pd.DataFrame({'A': [1, 1, 2, ... ...
分类：
其他好文 时间：
2019-08-02 09:21:55
阅读次数：
101
//数组去重方法1：let arr = [10,22,30,22,10,6,7,6]arr = arr.sort()let result = [arr[0]]for (let i=1, len=arr.length; i<len; i++) { arr[i] !== arr[i-1] && resu ...
分类：
编程语言 时间：
2019-08-01 13:08:30
阅读次数：
86
