这是我第一次在这写博客，还是有点兴奋。 我也是刚接触Python不久，发现Python代码真的很强大，简单就可以处理复杂的事。最近很想写个爬虫，但水平没达到，正好CSDN学院有个公开课，黄勇老师讲的《90分钟掌握Python多线程爬虫（全程实战）》，3月6日晚20:00我听了直播，当时没跟上，等看了 ...
分类：
其他好文 时间：
2019-03-11 13:21:26
阅读次数：
163
注意：如果想爬取详情页的信息请按须添加方法 import requests import os import re import threading from lxml import etree #爬去详情页得HTML内容 class CnBeta(object): def get_congtent ...
分类：
编程语言 时间：
2019-03-09 23:18:59
阅读次数：
272
python多线程爬虫项目（） 爬取目标：斗图啦（起始url：http://www.doutula.com/photo/list/?page=1） 爬取内容：斗图啦全网图片 使用工具：requests库实现发送请求、获取响应。 xpath实现数据解析、提取和清洗 threading模块实现多线程爬虫 ...
分类：
编程语言 时间：
2018-12-21 22:39:07
阅读次数：
221
一、串行爬虫 我们之前使用的爬虫方式，都是一个页面接着一个页面下载，也就是使用串行的方式进行爬虫。但是显然这种方式下载的速度是非常的慢的，特别是当我们需要下载大量页面的时候这个问题就会变得更加的突出。所以本节内，就学习如何进行多线程和多进程的并行爬虫。 二、多线程爬虫 我们在使用多线程进行爬虫的时候 ...
分类：
其他好文 时间：
2018-11-10 17:56:39
阅读次数：
165
1. HTTP协议 2. Requests库的7个主要方法 3. Robot协议 4. 网页解析 BeautifulSoup的解析器- 类的基本元素- 遍历功能 5. 正则表达式 6. 爬虫框架Scrapy 框架结构- 数据流 7. 分布式爬虫 多线程爬虫 多进程爬虫 8. 异步网站数据擦剂 9.爬 ...
分类：
其他好文 时间：
2018-09-30 15:03:37
阅读次数：
132
（1）普通的内容爬取（2）保存爬取的图片/视频和文件和网页（3）普通模拟登录（4）处理验证码登录（5）爬取js网站（6）全网爬虫（7）某个网站的站内所有目录爬虫（8）多线程 （9）爬虫框架Scrapy 一，普通的内容爬取 二，保存爬取的图片/视频和文件和网页#图片/视频和文件和网页的地址抓取下来后， ...
分类：
编程语言 时间：
2018-09-07 22:03:04
阅读次数：
213
1.爬虫基础 2.爬虫基础二 XPath语法和lxml模块 3.爬虫基础三 BeautifulSoup4库 4.爬虫基础四 正则表达式 5.爬虫基础五 json文件处理、csv文件处理、MySQL数据库操作 6.爬虫基础六 多线程爬虫 7.爬虫基础七 图形验证码识别技术 8.爬虫基础八Scrapy框 ...
分类：
其他好文 时间：
2018-09-02 20:25:46
阅读次数：
206
一个进程里只有一个线程，我们称之为单线程爬虫。单线程爬虫每次只访问一个页面，不能充分利用电脑的网络带宽。一个页面最多也就几百KB，所以爬虫在爬取一个页面的时候，多出来的网速就浪费掉了。 而如果我们可以让爬虫同时访问10个页面，就相当于我们的爬取速度提高了10倍。这个时候就需要使用多线程技术了。 这里 ...
分类：
编程语言 时间：
2018-09-02 00:07:35
阅读次数：
222
多线程糗事百科案例 案例要求参考上一个糗事百科单进程案例 Queue（队列对象） Queue是python中的标准库，可以直接import Queue引用;队列是线程间最常用的交换数据的形式 python下多线程的思考 对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是n ...
分类：
编程语言 时间：
2018-07-11 00:56:24
阅读次数：
171
代码：<?php/***@desc：多线程爬虫类*@author[Lee]<[<complet@163.com>]>*@property*1、calltrigger触发爬虫程序的回调函数*2、calltodo处理业务逻辑的回调函数如：把抓取到的内容处理后存到数据库*3、timeout超时时间，默认5秒*4、depth重定向深度，默认3*5、name上传文件的名字，默认
分类：
编程语言 时间：
2018-06-06 22:21:29
阅读次数：
183
