requests模块 爬虫中一个基于网络请求的模块 pip install requests 作用：模拟浏览器发起请求 编码流程： 1 . 指定url 2 . 发起请求 3 . 获取响应数据（爬取到的页面源码数据） 4 . 进行持久化存储 简单例子： 实现一个简易网页采集器 基于搜狗针对指定不同的关 ...
分类：
其他好文 时间：
2020-04-12 20:19:35
阅读次数：
78
动态渲染页面爬取 JavaScript动态渲染 其中一种方式是Ajax请求，通过直接分析Ajax再用requests来实现数据爬取 另外一种方式是模拟浏览器运行 一、 Selenium库 Selenium是自动化测试工具，可以驱动浏览器执行特定动作(点击、下拉)，还可以获取浏览器当前呈现页面的源代码 ...
分类：
其他好文 时间：
2020-04-11 17:03:01
阅读次数：
89
request模块： 文件乱码： 反爬机制： 动态加载数据爬取 回顾： 正则，xpath，bs4： 正则解析： b64： xpath: 合并条件： 错误分析 ...
分类：
其他好文 时间：
2020-04-10 17:17:30
阅读次数：
73
需求:爬取站长素材中的高清图片 一.数据解析（图片的地址) 通过xpath解析出图片src的属性值。只需要将img的src的属性值进行解析,提交到管道, 管道就会对图片的src进行请求发送获取图片 spider文件 class ImgSpider(scrapy.Spider): name = 'im ...
分类：
其他好文 时间：
2020-04-02 22:26:22
阅读次数：
100
scrapy框架 scrapy框架 简介： 所谓的框架其实就是一个被集成了很多功能且具有很强通用性的一个项目模板。 学习：学习是框架中集成好的各种功能的特性是作用。 进阶：逐步的探索框架的底层。 scrapy：是一个专门用于异步爬虫的框架。 高性能的数据解析、请求发送，持久化存储，全站数据爬取，中间 ...
分类：
其他好文 时间：
2020-03-28 15:01:46
阅读次数：
83
框架：具有很强的通用性，且封装了一些通用实现方法的项目模板 (异步框架)： 高性能的网络请求 高性能的数据解析 高性能的持久化存储 高性能的全站数据爬取 高性能的深度爬取 高性能的分布式 Scrapy环境安装 IOS和Linux windows 安装完成后，输入 测试一下，出现如下图显示，即安装成功 ...
分类：
其他好文 时间：
2020-03-26 01:01:46
阅读次数：
115
有些网站不允许爬虫进行数据爬取，因为会加大服务器的压力。其中一种最有效的方式是通过 ip+时间进行鉴别，因为正常人不可能短时间开启太多的页面，发起太多的请求。 我们使用的WebMagic可以很方便的设置爬取数据的时间。但是这样会大大降低我们爬取数据的效率，如果不小心 ip 被禁了，会让我们无法爬去数 ...
分类：
其他好文 时间：
2020-03-25 09:16:41
阅读次数：
73
Ajax 即“Asynchronous Javascript And XML”（异步 JavaScript 和 XML），是指一种创建交互式、快速动态网页应用的网页开发技术，无需重新加载整个网页的情况下，能够更新部分网页的技术。 通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。 ...
分类：
Web程序 时间：
2020-03-23 20:19:06
阅读次数：
87
2020.3.22 pycharm：使用python进行爬取，并存储到文件 1.爬取网页的通用代码框架 1 try: 2 r = requests.get(url, timeout = 30) 3 r.raise_for_status() 4 r.encoding = r.apparent_enco ...
分类：
其他好文 时间：
2020-03-22 22:33:56
阅读次数：
79
from bs4 import BeautifulSoup from selenium import webdriver import time import xlwt #打开网页 url="http://top.baidu.com/buzz?b=1&fr=topindex" driver = we ...
分类：
编程语言 时间：
2020-03-18 15:38:38
阅读次数：
270
