什么是多线程 这里就不说什么高深莫测的专业术语了，一句话，在泡澡的同时喝咖啡。也就是说在代码中同时让多个区域的代码或者说函数同时运行以此达到提高效率的目的。 举个例子 很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。很多已经做案例的人，却 ...
分类：
编程语言 时间：
2020-10-19 22:50:50
阅读次数：
25
学习爬虫，其乐无穷！今天给大家带来一个爬虫案例，爬取糗事百科搞笑内涵段子。爬取糗事百科段?，假设??的 URL 是：http://www.qiushibaike.com/8hr/page/1 一、爬取要求： 使?requests 获取??信息，?XPath / re 做数据提取。 获取每个帖??的 ...
分类：
编程语言 时间：
2020-08-31 13:21:14
阅读次数：
69
前言 网络上的信息很多，有的时候我们需要关键字搜索才可以快速方便的找到我们需要的信息。今天我们实现搜索关键字爬取堆糖网上相关的美图，零基础学会通用爬虫，当然我们还可以实现多线程爬虫，加快爬虫爬取速度 环境： windows pycharm python3 导入模块 import urllib.par ...
分类：
编程语言 时间：
2020-06-30 22:46:04
阅读次数：
89
一、requests模块 1、get请求 断言 2、post请求 3、代理请求 4、模拟登录请求 使用session登录 使用cookie登录 使用cookie登录2 5、requests获取HTML 6、requests获取图片 7、cookie转换字典 8、URL编解码 9、忽略HTTPS证书和 ...
分类：
编程语言 时间：
2020-05-24 00:36:58
阅读次数：
61
声明：无意滋生事端，仅学习分享，如有侵权，将立即删除。 说明：糗事百科段子的爬取，采用了队列和多线程的方式，其中关键点是Queue.task_done()、Queue.join()，保证了线程的有序进行。 import requests from lxml import etree import j ...
分类：
编程语言 时间：
2020-05-10 00:58:59
阅读次数：
66
零基础爬取堆糖网图片（一） 全文介绍： 首先 堆糖网 是一个美图壁纸兴趣社区，有大量的~~美女~~图片 今天我们实现搜索关键字爬取堆糖网上相关的美图。 当然我们还可以实现多线程爬虫，加快爬虫爬取速度 涉及内容： 1. 爬虫基本流程 2. requests库基本使用 3. urllib.parse模块 ...
分类：
其他好文 时间：
2020-04-06 20:59:41
阅读次数：
99
目录 1. 并发，并行的理解 2. 用代码实现多线程爬虫 ...
分类：
编程语言 时间：
2020-02-29 13:27:56
阅读次数：
62
一、多线程爬虫 （一）程序、进程与线程： 程序：相当于一个应用。 进程：程序运行资源（内存资源）的最小分配单位，一个程序可以有多个进程。 线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立资源，所有线程共享该进程的全部资源。 线程的划分尺度比进程小。 （二）为什么多进程和多线程可以提高程序 ...
分类：
其他好文 时间：
2020-02-18 18:23:20
阅读次数：
58
爬虫用到的知识点 1，第一阶段：字符串，列表方法。。。 2，第二阶段：Mysql，MongoDB,多进程爬虫，多线程爬虫，正则表达式re 3，第三阶段：HTML，JS，Redis数据库。。。 ...
分类：
其他好文 时间：
2020-02-18 13:11:26
阅读次数：
53
多线程爬虫 先回顾前面学过的一些知识 1.一个cpu一次只能执行一个任务，多个cpu同时可以执行多个任务2.一个cpu一次只能执行一个进程，其它进程处于非运行状态3.进程里包含的执行单元叫线程，一个进程可以包含多个线程4.一个进程的内存空间是共享的，每个进程里的线程都可以使用这个共享空间5.一个线程 ...
分类：
编程语言 时间：
2019-12-25 11:34:37
阅读次数：
83
