在web sprider crawl过程中,许多网站都需要登录后才能访问,一般如果我们不用爬虫框架的前提下,常规用的就两个库 ,urllib库和requests库,本文将用最基础的urllib库,以模拟登录人人网为例,理清爬虫过程中登录访问和cookie的思绪。 1.终极方案,也是最简单粗暴最有效的 ...
分类:
编程语言 时间:
2020-07-18 00:32:56
阅读次数:
71
一. 接口解决了java中无法多继承问题 接口的方法都是抽象类 interface student{ int clas=0604; void learning(); void eat(); void sleep(); } public class student1 implements studen ...
分类:
编程语言 时间:
2020-07-18 00:31:06
阅读次数:
82
/* 定义一个含有30个整形元素的数组,按顺序分别赋予从2开始的偶数 然后从顺序每五个数求出一个平均数,放到另一个数组中并求出 */ var arr = new Array(30); for (var i = 0; i<arr.length; i++) { arr[i] = i * 2 + 2; } ...
分类:
编程语言 时间:
2020-07-18 00:28:13
阅读次数:
148
机器学习是比较非常不错的发展领域,而python和R语言在机器学习中都可以应用,因此很多人都会疑惑python和R语言哪个更适合机器学习呢?我们来看看吧。
分类:
编程语言 时间:
2020-07-17 22:32:56
阅读次数:
128
Map接口特点 1.Collection中的集合,元素是孤立存在的(理解为单身),向集合中存储元素采用一个个元素的方式存储。 2.Map中的集合,元素是成对存在的(理解为夫妻)。每个元素由键与值两部分组成,通过键可以找对所对应的值。 3.Collection中的集合称为单列集合,Map中的集合称为双 ...
分类:
编程语言 时间:
2020-07-17 22:32:18
阅读次数:
119
1、get方式:如何为爬虫添加ip代理,设置Request header(请求头) import urllib import urllib.request import urllib.parse import random import time from fake_useragent import ...
分类:
编程语言 时间:
2020-07-17 22:29:49
阅读次数:
192
前言 每一个孩子都像星空中的一颗星星,散发着自己所特有的光芒照亮着整个夜空。今天就带大家用27行Python代码绘制一幅满天星吧。 全局设置 在绘制满天星的过程中要运用到turtle工具,它是Python的标准库,也可以形象的称它为海龟库,它可以描绘绘图的轨迹,操作简单、快捷。首先,我们要做一些有关 ...
分类:
编程语言 时间:
2020-07-17 22:27:45
阅读次数:
217
我们会从Python最基础的数据结构开始:元组、列表、字典和集合。然后会讨论创建你自己的、可重复使用的Python函数。最后,会学习Python的文件对象,以及如何与本地硬盘交互。 3.1 数据结构和序列 Python的数据结构简单而强大。通晓它们才能成为熟练的Python程序员。 元组 元组是一个 ...
分类:
编程语言 时间:
2020-07-17 22:25:18
阅读次数:
93
前言 在测试过程中经常遇到文件上传的功能,文件的大小边界值测试一直没有好的解决办法,这里我分享一个创建文件的脚本希望对大家有帮助。 demo """ * Create by dell on 2020/7/10 * Author :wencheng * 微信公众 :自动化测试 To share """ ...
分类:
编程语言 时间:
2020-07-17 22:20:01
阅读次数:
115
NumPy(Numerical Python的简称)是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。 NumPy的部分功能如下: ndarray,一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。 用于对整组数据进行快速运算的标准数学函数( ...
分类:
编程语言 时间:
2020-07-17 22:16:48
阅读次数:
89
spring.jackson.timeZone=GMT+08:00spring.jackson.date-format=yyyy-MM-dd HH:mm:ssspring.jackson.serialization.write_dates_as_timestamps=falsespring.mvc. ...
分类:
编程语言 时间:
2020-07-17 22:14:24
阅读次数:
381
1.同步块 同步块(synchronized(obj)){ },obj称之为同步监视器 1.obj可以是任何对象,但是推荐使用共享资源作为同步监视器 2.同步方法中无需指定同步监视器,因为同步方法的同步监视器时this即该对象本身,或class即类的模子 同步监视器执行过程 1.第一个线程访问,锁定 ...
分类:
编程语言 时间:
2020-07-17 22:13:14
阅读次数:
67
我在月初接入了uwa的性能测试SDK,需要提交一个development build的游戏安装包给uwa进行真人真机测试,本文说下如何判断安装包是否为development build。 直观上判断 如果是development build模式打包出来的安装包,在游戏的画面的右下角会有develop ...
分类:
编程语言 时间:
2020-07-17 22:11:00
阅读次数:
204
简述 Manacher算法,又称马拉车算法,它是用于求一个字符串的最长回文子串长度的算法,时间和空间复杂度为O(n)。 算法思想 求一个字符串的最长回文子串长度,我们如果用暴力来做,我们就要取出这个串的所有子串,然后判断这个子串是不是回文串,复杂度是n方的。 那么马拉车为何如此神奇能做到O(n)呢? ...
分类:
编程语言 时间:
2020-07-17 22:10:08
阅读次数:
116
阅读代码的时候会看到下面语句: from __future__ import print_function 查阅了一些资料,这里mark一下常见的用法! 首先我们需要明白该句语句是python2的概念,那么python3对于python2就是future了,也就是说,在python2的环境下,超前使 ...
分类:
编程语言 时间:
2020-07-17 22:08:38
阅读次数:
70
##下载JDK 下载地址:https://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html 安装JDK之后配置环境变量 打开环境变量在系统变量中添加 ###1. 新建JAVA_HOME 变量 变量名:JAVA ...
分类:
编程语言 时间:
2020-07-17 22:08:04
阅读次数:
86
先引出偏函数 #一个带有可变参数的sum函数 def sum(*args): s=0 for i in args: s=s+n return s #想要输出(sum(10,20)+sum(1,2,3,4,5)) print(sum(10,20)+sum(1,2,3,4,5)) 这样虽然通俗易懂,但是 ...
分类:
编程语言 时间:
2020-07-17 22:06:21
阅读次数:
83