字体反爬案例爬取一些网站的信息时,偶尔会碰到这样一种情况:网页浏览显示是正常的,用python爬取下来是乱码,F12用开发者模式查看网页源代码也是乱码。这种一般是网站设置了字体反爬。1.准备url网址:https://www.iesdouyin.com/share/user/884455189612.获取数据分析字体加密方式任务:爬取个人信息展示页中的关注、粉丝人数和点赞数据,页面内容如图下所示。
分类:
编程语言 时间:
2020-03-01 01:08:07
阅读次数:
109
迭代器一、迭代的概念迭代器即迭代的工具,那什么是迭代呢?迭代是一个重复的过程,每次重复即一次迭代,并且每次迭代的结果都是下一次迭代的初始值优点:提供一种统一的、不依赖于索引的迭代方式惰性计算,节省内存缺点:无法获取长度(只有在next完毕才知道到底有几个值)一次性的,只能往后走,不能往前退1、为何要有迭代器?对于序列类型:字符串、列表、元组,我们可以使用索引的方式迭代取出其包含的元素。但对于字典、
分类:
编程语言 时间:
2020-03-01 01:10:31
阅读次数:
107
这一篇琢磨了很久才搞懂,还是得多记,毕竟笨鸟多飞 什么是编译和解释 编译型就是将编写好的代码完整的翻译好使得操作系统能够识别并按照代码工作 解释型就是编写好的代码未经编译,操作系统需要运行时才进行临时编译 java是编写完成对代码经过编译,操作系统在识别并工作时再临时编译一次 注释 单行注释:// ...
分类:
编程语言 时间:
2020-03-01 09:12:11
阅读次数:
94
Java学习入门-05 -集合浅析
分类:
编程语言 时间:
2020-03-01 09:13:40
阅读次数:
78
之前我们介绍的基本类型、类、接口、枚举都是在表示和操作数据,操作的过程中可能有很多出错的情况,出错的原因可能是多方面的,有的是不可控的内部原因,比如内存不够了、磁盘满了,有的是不可控的外部原因,比如网络连接有问题,更多的可能是程序的编程错误,比如引用变量未初始化就直接调用实例方法。 这些非正常情况在 ...
分类:
编程语言 时间:
2020-03-01 09:14:51
阅读次数:
76
Python是一种计算机程序设计语言。是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的、大型项目的开发,可以应用于以下领域: - Web 和 Internet开发 - 科学计算和统计 - 教育 - 桌面界面开发 - ...
分类:
编程语言 时间:
2020-03-01 10:24:51
阅读次数:
69
算数运算符 关系运算符 逻辑运算符 赋值运算符 字符串连接运算符 三元运算符 1. 算数运算符: +、-、*、/、%、++、-- 运算符有优先级,不确定的加括号。 2. 关系运算符: > 、 >=、< 、<= 、 == 、 != 注意: = 是复制运算符,==是关系运算符 关系运算符的结果一定是布尔 ...
分类:
编程语言 时间:
2020-03-01 10:26:17
阅读次数:
76
TreeMap和TreeSet即Java中利用二叉搜索树实现的Map和Set
分类:
编程语言 时间:
2020-03-01 10:33:50
阅读次数:
73
进程池,线程池 什么是池 为什么要用池? 开启一个池 ...
分类:
编程语言 时间:
2020-03-01 10:34:24
阅读次数:
80
自然排序:实现Comparable接口,自定义重写compareTo方法 //编写商品类,实现Comparable接口 package compare; import static org.hamcrest.CoreMatchers.instanceOf; public class Goods im ...
分类:
编程语言 时间:
2020-03-01 10:35:52
阅读次数:
123
简介 Python 标准库中提供了诸如 urllib.request、http.client 等模块用于发送 HTTP 请求,它们功能强大,但是使用起来并不简洁明了。 requests 是一个第三方模块,比 Python 标准库中提供的简单优雅多了,正如其介绍所说的是为人类而造的(讽刺标准库中的实现 ...
分类:
编程语言 时间:
2020-03-01 10:50:34
阅读次数:
109
1. contextlib上下文管理器工具 contextlib模块包含的工具用于处理上下文管理器和with语句。 1.1 上下文管理器API 上下文管理器(context manager)负责管理一个代码块中的资源,会在进入代码块时创建资源,然后在退出代码块后清理这个资源。例如,文件就支持上下文管 ...
分类:
编程语言 时间:
2020-03-01 10:51:53
阅读次数:
75
解决idea写spring boot运行测试类时出现“Failed to resolve org...”的问题 今天在学习spring Boot时,运行测试类运行时长时间下载文件,响应后却出现以下错误: 方法一:修改镜像源 尝试将maven的配置文件改为阿里云的镜像源。路径:你的安装目录/conf/ ...
分类:
编程语言 时间:
2020-03-01 10:53:15
阅读次数:
127
给定一个无向图,一条路径被称为最短路,当且仅当不存在从它的起点到终点的另外一条路径总长度比它小。两条最短路不同,当且仅当它们包含的道路序列不同。我们需要对每条道路的重要性进行评估,评估方式为计算有多少条不同的最短路经过该道路。$n\leq 1500,m\leq 5000,w\leq 10000$ S ...
分类:
编程语言 时间:
2020-03-01 10:54:29
阅读次数:
65
一、fill()函数 1. 按照单元赋值,将一个区间的元素都赋同一个值 2. 在头文件里面 3. fill函数可以赋任何值, 二、memset()函数 1. 按照字节填充 2. 在头文件里面 3. 因为是按照字节填充,所以一般memset只能用来填充char数组(因为char数组只占一个字节)如果填 ...
分类:
编程语言 时间:
2020-03-01 10:56:08
阅读次数:
130
一.类的创建 #类的实例化 class Dog(object):#object类,o小写 type = "宠物" #类变量 def __init__(self,name,age): #初始化方法 self.name = name #实例变量(属性) self.age = age self.run() ...
分类:
编程语言 时间:
2020-03-01 10:56:42
阅读次数:
85
参考 ...
分类:
编程语言 时间:
2020-03-01 10:57:50
阅读次数:
190
Java 线程之间的交互 wait和notify 线程之间有 交互通知 的需求,考虑如下情况: 有两个线程,处理同一个英雄。 一个加血,一个减血。 减血的线程,发现血量=1,就停止减血,直到加血的线程为英雄加了血,才可以继续减血 步骤 1 : 不好的解决方式 故意设计减血线程频率更高,盖伦的血量迟早 ...
分类:
编程语言 时间:
2020-03-01 10:59:04
阅读次数:
69
dogdistance = {'dog-dog': 33, 'dog-cat': 36, 'dog-car': 41, 'dog-bird': 42} min(dogdistance, key=dogdistance.get) 返回最小值的键值: 'dog-dog' max(dogdistance, ...
分类:
编程语言 时间:
2020-03-01 10:59:24
阅读次数:
157
urllib库 python原生基本库 requests库 安装 它是在 基础上更加强大的请求库 实例引入 各种请求方式 带参数的get请求 { "args": {}, "headers": { "Accept": " / ", "Accept Encoding": "gzip, deflate", ...
分类:
编程语言 时间:
2020-03-01 10:59:52
阅读次数:
78