[TOC] scrapy框架之递归解析和post请求 递归爬取解析多页页面数据 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案 ...
分类：
其他好文 时间：
2019-05-04 18:39:21
阅读次数：
97
思路如下： 首先找到图片的节点 找到爬取页面的urlhttps://www.qiushibaike.com/imgrank/ 发起请求拿到响应,略 使用正则表达式来获取图片的srcre.compile('.*?".*?', re.S) 最后持久化写入文件。 具体代码如下：import request... ...
分类：
其他好文 时间：
2019-04-05 12:34:26
阅读次数：
181
一.正则解析 常用正则表达式回顾: 回顾练习： 项目需求：爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中 二.Xpath解析 测试页面数据 常用xpath表达式回顾 代码中使用xpath表达式进行数据解析 安装xpath插件在浏览器中对xpath表达式进行验证：可以在插件中直接执行xpath表 ...
分类：
编程语言 时间：
2019-02-26 22:18:59
阅读次数：
249
今天在使用正则表达式时未能解决实际问题，于是使用bs4库完成匹配，通过反复测试，最终解决了实际的问题，加深了对bs4.BeautifulSoup模块的理解。 爬取流程 前奏： 分析糗事百科热图板块的网址，因为要进行翻页爬取内容，所以分析不同页码的网址信息是必要的 具体步骤： １，获取网页内容（url ...
分类：
编程语言 时间：
2019-02-19 00:54:13
阅读次数：
181
https://www.cnblogs.com/c-x-a/p/9889623.html 创建scrapy工程 1、scrapy startproject xxx xxx就是你的项目名，这里我们给我们的项目起名qiushibaike。 然后我们会发现了多了一个文件名为qiushibaike的文件夹 ...
分类：
其他好文 时间：
2019-01-30 00:13:17
阅读次数：
193
工程目录结构 spiders下的first源码 Items文件 pipeline文件 Setting文件 ...
分类：
其他好文 时间：
2019-01-28 10:52:02
阅读次数：
162
在编写案例之前首先理解几个问题，1：什么是爬虫2：为什么说python是门友好的爬虫语言？3：选用哪种框架编写爬虫程序 一：什么是爬虫？ 爬虫 webSpider 也称之为网络蜘蛛，是使用一段编写好的代码所生成的应用程序使其游弋于互联网这个庞大的体系中，帮助我们将想要的内容从目标服务器中搬到我们本地 ...
分类：
其他好文 时间：
2019-01-26 23:49:08
阅读次数：
303
首先第一个问题： 浏览器拿到的数据包和用requests模块拿到的数据不一样。 第二个问题： 访问第二页，却给了第一页的数据。原来可以拿到 可能是多次拿数据之后，他不封ip，只会给第一页。但是我用浏览器还是可以正常访问。 ...
分类：
Web程序 时间：
2019-01-08 22:28:28
阅读次数：
214
