标签:性能 高性能 框架 网络连接 bsp spi http请求 构造 数据
抓包:charles Fiddler
HTTP请求处理,urllib、requests 专门获得网络连接的库
Scrapy框架:(Scrapy,Pyspider)
高定制性高性能(异步网络框架twisted),所以数据下载速度非常快,
提供了数据存储、数据下载、提取规则等组件
爬虫使用场景:通用爬虫、聚焦爬虫。
Ctrl + f 显示搜索框
Ctrl + p 可以查看构造request 请求方法时需要传递哪些参数
标签:性能 高性能 框架 网络连接 bsp spi http请求 构造 数据
原文地址:https://www.cnblogs.com/lichunyan58/p/9103070.html