1. Scrapy使用了Twisted异步网络库来处理网络通讯，整体架构： Scrapy爬虫框架主要由5个部分组成，分别是：Scrapy Engine（Scrapy引擎），Scheduler（调度器），Downloader（下载器），Spiders（蜘蛛），Item Pipeline（项目管道）。爬 ...
分类：
其他好文 时间：
2020-06-26 10:21:18
阅读次数：
58
安装一个下载工具composer（php的包管理工具）、php的插件下载器 phpstudy下载地址 xp.cn l 配置环境变量把当前网站所使用的对应PHP版本的安装路径和composer的安装路径放进环境变量中 我自己的php安装路径： 我的电脑-》属性-》高级系统设置-》环境变量-》系统变量- ...
分类：
其他好文 时间：
2020-06-19 11:50:23
阅读次数：
67
Scrapy是一个常用的爬虫框架，可以提升爬虫的效率，从而更好的实现爬虫。Scrapy是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含request（异步调度和处理）、下载器（多线程的Downloader）、解析器（selector）和twisted（异步处理）等。 第一 ...
分类：
其他好文 时间：
2020-06-14 20:52:44
阅读次数：
70
组件以及执行流程 -引擎找到要执行爬虫，并执行爬虫的start_requests 方法， 并得到一个迭代器。 -迭代器循环时会获取Request对象，而Request对象中封装了要访问的URL和回调函数。 -将所有的Request对象（任务）放到调试器中，用于以后被下载器下载 -下载器云调试器中获取 ...
分类：
其他好文 时间：
2020-06-14 16:35:50
阅读次数：
66
在前面两篇文章介绍了下载器中间件的使用，这篇文章将会介绍爬虫中间件（Spider Middleware）的使用。 爬虫中间件 爬虫中间件的用法与下载器中间件非常相似，只是它们的作用对象不同。下载器中间件的作用对象是请求request和返回response；爬虫中间件的作用对象是爬虫，更具体地来说，就 ...
分类：
其他好文 时间：
2020-06-12 14:54:01
阅读次数：
66
在上一篇文章中介绍了下载器中间件的一些简单应用，现在再来通过案例说说如何使用下载器中间件集成Selenium、重试和处理请求异常。 在中间件中集成Selenium 对于一些很麻烦的异步加载页面，手动寻找它的后台API代价可能太大。这种情况下可以使用Selenium和ChromeDriver或者Sel ...
分类：
其他好文 时间：
2020-06-12 14:21:30
阅读次数：
69
一: 2.0版本增加网络请求: //开始请求 - (void)start; //取消请求 - (void)cancel; 二: 增加网络请求后, 整体功能进行了优化 1: 下载器->SDWebImageDownloaderDelegate 新增了didFailWithError方法重载 2: 管理器 ...
分类：
Web程序 时间：
2020-06-11 13:19:08
阅读次数：
85
scrapy中间件 scrapy中间有两种：爬虫中间件，下载中间件 爬虫中间件：处于引擎和爬虫spider之间 下载中间件：处于引擎和下载器之间 主要对下载中间件进行处理 下载中间件 作用：批量拦截请求和响应 拦截请求 UA伪装：将所有的请求尽可能多的设定成不同的请求载体身份标识 request.h ...
分类：
其他好文 时间：
2020-06-09 18:34:48
阅读次数：
89
from urllib.request import urlretrieve from tkinter import * from selenium import webdriver import os #功能 #https://music.163.com/#/search/m/?s=%E4%B8% ...
分类：
其他好文 时间：
2020-06-08 09:26:38
阅读次数：
683
位置：middlewares.py文件中 一、爬虫中间件 二、下载中间件 1、位置：引擎和下载器之间 2、作用：批量拦截到整个工程中所有的请求和响应 3、拦截请求： UA伪装：写在process_request方法中 # UA池 user_agent_list = [ "Mozilla/5.0 (W ...
分类：
其他好文 时间：
2020-06-01 13:53:49
阅读次数：
105
