redis分布式部署 - 概念：可以将一组程序执行在多台机器上（分布式机群），使其进行数据的分布爬取。 1.scrapy框架是否可以自己实现分布式？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调 ...
分类：
编程语言 时间：
2019-09-28 00:36:22
阅读次数：
108
- CrawlSpider - 作用：用于进行全站数据爬取 - CrawlSpider就是Spider的一个子类 - 如何新建一个基于CrawlSpider的爬虫文件 - scrapy genspider -t crawl xxx www.xxx.com - 例：choutiPro - LinkEx ...
分类：
编程语言 时间：
2019-09-27 16:32:19
阅读次数：
101
1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储 scrapy crawl 爬虫名称 -o xxx.jso ...
分类：
编程语言 时间：
2019-09-24 12:30:59
阅读次数：
91
在最近刷今日头条以及其他媒体软件时，经常会发现一些AI换脸的视频，于是我想，可不可以自己实现一个可以进行人脸识别的软件程序。我的具体流程是先配合python网络爬虫先进行万张PubFig人脸公共图片的爬取，分析出图片具体特征，然后再配合机器学习的OpenCV视觉库进行软件的构建。有一篇Github的 ...
分类：
编程语言 时间：
2019-09-22 17:57:04
阅读次数：
307
一.HTTP协议 1.官方概念： HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方 ...
分类：
编程语言 时间：
2019-09-18 14:27:25
阅读次数：
130
上一篇说完了如何爬取一个网页，以及爬取中可能遇到的几个问题。那么接下来我们就需要对已经爬取下来的网页进行解析，从中提取出我们想要的数据。 根据爬取下来的数据，我们需要写不同的解析方式，最常见的一般都是HTML数据，也就是网页的源码，还有一些可能是Json数据，Json数据是一种轻量级的数据交换格式， ...
分类：
编程语言 时间：
2019-09-17 13:08:15
阅读次数：
98
本系列从零开始阐述如何编写Python网络爬虫，以及网络爬虫中容易遇到的问题，比如具有反爬,加密的网站，还有爬虫拿不到数据，以及登录验证等问题，会伴随大量网站的爬虫实战来进行。 我们编写网络爬虫最主要的目的是爬取想要的数据还有通过爬虫去自动完成我们想在网站中做的一些事情。 从今天开始我会从基础开始讲 ...
分类：
编程语言 时间：
2019-09-16 11:51:07
阅读次数：
77
01.jupyter环境安装 02.Python网络爬虫第二弹《http和https协议》 03.Python网络爬虫第一弹《Python网络爬虫相关基础概念》 04.Python网络爬虫之requests模块（1） 02.Python网络爬虫第二弹《http和https协议》 03.Python网 ...
分类：
其他好文 时间：
2019-08-26 19:23:52
阅读次数：
77
恢复内容开始 requests库的7个主要方法 requests.request() 爬取网页的通用代码框架 连接有风险，异常处理很重要 robots协议 基本语法 #注释 *代表所有 / 代表根目录 user-agent: * Disallow: / 访问亚马逊网页商品 查看头部信息r.reque ...
分类：
编程语言 时间：
2019-08-21 00:20:22
阅读次数：
100
最近在学习python 网络爬虫，正好接触到python的requests模块 我的开发环境是ubuntu18.04+python3，这个系统是默认自带了python3，且版本是python 3.6.8 由于在学习过程中需要一个新的python模块bs4，因此希望能够像python2.7那样直接 p ...
分类：
编程语言 时间：
2019-07-23 17:10:20
阅读次数：
95
