爬取前戏 我们要知道利用 是非常无敌的，自我认为什么反爬不反爬都不在话下，但是今天我们为什么要用request+bs4爬取所有股票信息呢？因为他比较原始，因此今天的数据，爬取起来也是比较繁琐的！接下来让我们emmmm。。。。你懂得 爬取步骤 第一步 ：获取股票代码 1）我们通过这个链接去网易看一下具 ...
分类：
其他好文 时间：
2019-10-20 13:12:24
阅读次数：
110
基于crawlspider的全站数据爬取 1.spider的子类 2 .使用流程 创建一个基于CrawlSpider的爬虫文件 scrapy genspider -t crawl spidername 蜘蛛运行后,先访问start_url给定的第一个页面, 将响应对象res返回给parse方法, p ...
分类：
其他好文 时间：
2019-10-19 18:50:26
阅读次数：
79
一丶scrapy的图片数据爬取（流数据的爬取） ? scrapy中封装好了一个管道类（ImagesPipeline），基于该管道类可以实现图片资源的请求和持久化存储 编码流程： 爬虫文件中解析出图片的地址 将图片地址封装到item中且提交给管道 管道文件中自定义一个管道类（父类：ImagesPipe ...
分类：
编程语言 时间：
2019-10-16 00:16:43
阅读次数：
187
上一节，学习了Ajax，Ajax 其实也是JS 动态渲染的页面的一种形式，通过直接分析Ajax，仍然可以借助requests 或者 urllib 来实现数据爬取。 但是JS动态渲染的页面不止Ajax 一种；还有就是像淘宝这种页面，即使是Ajax 获取的数据，但是其Ajax 接口含有很多加密参数，我们 ...
分类：
编程语言 时间：
2019-10-13 17:03:10
阅读次数：
791
前言：做个小小的数据分析平台，检验下学习成果。 使用的技术知识： 数据爬取：puppeteer; 数据存储：mongodb; 路由控制：koa; 渲染引擎：ejs; 渲染框架：bootstrap。 设计图：(手画的，丑了点) 待完善！！！ ...
分类：
其他好文 时间：
2019-10-13 15:17:45
阅读次数：
88
一. 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy ...
分类：
其他好文 时间：
2019-10-07 13:04:31
阅读次数：
69
Spider的一个子类，用于全站数据爬取 全站爬取： 1.基于Spider：手动请求发送 2.基于Crawlspider: cralwspider使用： 创建工程 cdxxx 创建爬虫文件（crawlspider)：scrapy genspider -t crawl xxx www.xxx.com ...
分类：
其他好文 时间：
2019-10-05 16:10:18
阅读次数：
89
scrapy框架之spider 爬取流程 Spider类定义如何爬取指定的一个或多个网站，包括是否要跟进网页里的链接和如何提取网页内容中的数据。 爬取的过程是类似以下步骤的循环： 1.通过指定的初始URL初始化Request，并指定回调函数。当Request下载完后，生成Response作为参数传给 ...
分类：
其他好文 时间：
2019-10-05 14:42:40
阅读次数：
61
- CrawlSpider - 作用：用于进行全站数据爬取 - CrawlSpider就是Spider的一个子类 - 如何新建一个基于CrawlSpider的爬虫文件 - scrapy genspider -t crawl xxx www.xxx.com - 例：choutiPro - LinkEx ...
分类：
编程语言 时间：
2019-09-27 16:32:19
阅读次数：
101
[TOC] 昨日回顾: 增量式: 监测一个网站, 只要网站有更新的数据, 爬取更新的数据去重: 基于url 基于数据指redis数据库: sadd 集合名 值 judge = sadd 集合名 值: 1).如果该值在集合中已经存在, judge为0, 代表该数据已经爬取过了 2).如果该值不在集合中 ...
分类：
其他好文 时间：
2019-09-17 09:39:44
阅读次数：
95
