分布式爬虫介绍 什么是分布式爬虫? 分布式爬虫是将多台电脑构建成一个机群,然后将爬虫程序部署在机群内的每台电脑上进行执行爬取任务,最终将所有的数据进行 分布式爬虫的作用 提高爬取效率 分布式爬虫的简单实现 由于原生scrapy的五大组件的不能实现共享,数据无法整合,所以必须通过scrapy和scra ...
分类:
其他好文 时间:
2020-06-09 18:25:37
阅读次数:
75
一、Set集合特点 插入无序,不可指定位置访问。且内部数据不能重复(==或equals)的元素(只要有一个为true就不能重复,重写了equals方法也算)。常用实现类有HashSet、TreeSet。 二、元素不能重复? 1.Set是如何判断元素重复? HashSet是由HashMap实现的,Ha ...
分类:
其他好文 时间:
2020-06-08 00:20:20
阅读次数:
80
哈希表+双指针 思路 先排序,后遍历 题目要求找出最长连续序列的长度,注意是找出,所以数组中的元素有可能是重复的。 如何排除重复值,很容易就想到Set集合,所以转成Set集合 后续的遍历用到双指针,为了便于操作又把Set集合转数组,再排序。 因为用到Arrays.sort(),其时间复杂度 为O(n ...
分类:
其他好文 时间:
2020-06-06 21:24:58
阅读次数:
56
Collection 接口是 List 、 Set 和 Queue 接口的父接口,该接口里定义的方法既可用于操作 Set 集合 ,也可用于操作 List 和 Queue 集合。 Collection 接口里定义了如下操作集合元素的方法: boolean add(Object 0): 该方法用于 向集 ...
分类:
编程语言 时间:
2020-06-06 00:56:53
阅读次数:
66
@ Set 集合,它类似于一个罐子 , 程序可以依次把多个对象"丢进" Set 集合,而 Set集合通常不能记住元素的添加顺序 。 Set 集合与 Collection 基本相同,没有提供任何额外的方法。实际上 Set 就是 Collection , 只是行为略有不同( Set不允许包含重复元素) ...
分类:
编程语言 时间:
2020-06-06 00:48:24
阅读次数:
57
1.概念 2.接口方法 3.Set接口特点 4.HashSet 5.LinkedHashSet 6.什么原因导致了Set集合不重复 package com.bfd; import java.util.HashSet; public class Demo01 { public static void ...
分类:
其他好文 时间:
2020-05-29 21:23:13
阅读次数:
58
集合元素不能重复 sismember k v 是否存在 scard k 返回数量 sadd k v1 v2 添加,k不存在则创建 smembers k 返回所有元素 srem k v1 v2 移出元素 smove s d v 将v从s移到d里 spop k 随机移出一个元素并返回 srandmemb ...
分类:
其他好文 时间:
2020-05-27 20:16:31
阅读次数:
68
Collection接口是List,Set,Queue接口的父接口,该接口里定义的方法既可用于操作Set集合,也可用于操作List和Queue集合。 1.使用Lambda表达式遍历集合 Java8为Iterable接口新增了一个forEach(Consumer action)默认方法,该方法所需参数 ...
分类:
其他好文 时间:
2020-05-23 13:24:06
阅读次数:
47
常用编程语言数据类型总结概要 Python3(6种) Python3 中有== 六个 ==标准的数据类型: Number(数字) String(字符串) List(列表) Tuple(元组) Set(集合) Dictionary(字典) Python3 的六个标准数据类型中: 不可变数据(3 个): ...
分类:
编程语言 时间:
2020-05-23 09:25:29
阅读次数:
50
链表中环的特征: 一定是在链表的最后,不可能出现在链表的中间,因此,有环的链表是没有指向null的节点的。 解法思路: 1、硬做 在足够的时间内,循环,看能否到达null, 如果不能则说明存在环路 这里“足够的时间”的设定,有点悬学的味道,如何设定得看经验了 2、将遍历过的节点都存入set集合中,每 ...
分类:
其他好文 时间:
2020-05-20 12:10:35
阅读次数:
57