个人总结 数组去重 在20个数中取得不同的5个数 ...
分类：
编程语言 时间：
2020-04-16 22:51:21
阅读次数：
128
1.行转列（多行变一行，聚合） 表数据 select * from student; student.id student.name 4 fuqiang 5 minzhu 6 hexie collect_set()函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生 array 类型 ...
分类：
其他好文 时间：
2020-04-16 22:31:27
阅读次数：
68
方法一：.Array.prototype.unique=function(){ var arr=[];//新建一个临时数组 for(var i=0;i<this.length;i++){//遍历当前数组 if(arr.indexOf(this[i]) 1){//当前数组的第i个值在新数组中找不到，则 ...
分类：
编程语言 时间：
2020-04-16 15:15:26
阅读次数：
63
一、IP去重示例 数据文件： 192.168.10.111 192.168.10.111 10.32.100.111 192.168.21.111 192.168.10.112 192.168.10.111 192.168.11.111 192.168.12.112 192.168.11.111 I ...
分类：
移动开发 时间：
2020-04-16 00:26:29
阅读次数：
112
jenkins是无法直接按照git插件的，因为git的一些依赖包jenkins是没有的。以下是我在解决jenkins安装git插件问题的处理步骤，亲测有效。1：打开https://plugins.jenkins.io/搜索git然后点击进入。2：手动下载git需要的插件。git_client.hpi插件、scm-api.hpi插件、workflow-setp-api.hpi插件、workflow-
分类：
其他好文 时间：
2020-04-13 23:10:36
阅读次数：
296
$goodinfo = array(8) { [0]=> array(1) { ["tcate"]=> string(4) "2008" } [1]=> array(1) { ["tcate"]=> string(4) "2035" } [2]=> array(1) { ["tcate"]=> st ...
分类：
编程语言 时间：
2020-04-13 12:39:20
阅读次数：
78
爬虫5 scrapy框架2 全站爬取cnblogs, scarpy请求传参, 提高爬取效率, 下载中间件, 集成selenium, fake-useragent, 去重源码分析, 布隆过滤器, 分布式爬虫, java等语言概念补充, bilibili爬视频参考
1 全站爬取cnblogs # 1 scrapy startproject cnblogs_crawl # 2 scrapy genspider cnblogs www.cnblogs.com 示例： # cnblogs_crawl/cnblogs_crawl/spiders/cnblogs.py ...
分类：
编程语言 时间：
2020-04-13 01:13:46
阅读次数：
117
在Redis的缓存穿透中了解到布隆过滤器，不禁想来了解一番其奇妙之处 1. 布隆过滤器的作用 判断传入数据是否已经存在，由这个基本功能可以泛生出： 防止Redis缓存穿透 海里数据去重 垃圾邮件过滤 2. 什么是布隆过滤器 布隆过滤器（Bloom Filter）是1970年由一个叫布隆的人提出的，它 ...
分类：
其他好文 时间：
2020-04-13 00:18:55
阅读次数：
72
假定现有数组：var arr = [1,23,1,1,1,3,23,5,6,7,9,9,8,5,5,5,5];，如何去除重复的元素并返回？[1,23,3,5,6,7,9,8] 1.将数组的每一个元素依次与其他元素做比较，发现重复元素，利用数组方法splice()删除重复元素 var arr = [1 ...
分类：
编程语言 时间：
2020-04-12 22:12:01
阅读次数：
85
[TOC] 在开始介绍 scrapy 的去重之前，先想想我们是怎么对 requests 对去重的。 requests 只是下载器，本身并没有提供去重功能。所以我们需要自己去做。 很典型的做法是事先定义一个去重队列，判断抓取的 url 是否在其中，如 此时的集合是保存在内存中的，随着爬虫抓取内容变多， ...
分类：
其他好文 时间：
2020-04-12 18:36:57
阅读次数：
69
