很多情况下，页面的某些信息需要登录才可以查看。 这里的核心是获取登陆之后的 Cookies 。话不多说，操练起来。 1. 模拟登录并爬取GitHub 1.1 环境准备 requests库 lxml库 1.2 分析登录过程 打开Github的登录页面，https://github.com/login. ...
分类：
编程语言 时间：
2019-10-20 17:55:03
阅读次数：
95
中文文档 API： http://requests.kennethreitz.org/zh_CN/latest/ 安装 获取网页 保存图片 获取状态码以及判断请求是否成功 带header头伪装浏览器爬取内容 爬取贴吧内容 ...
分类：
其他好文 时间：
2019-10-20 16:11:25
阅读次数：
121
爬取前戏 我们要知道利用 是非常无敌的，自我认为什么反爬不反爬都不在话下，但是今天我们为什么要用request+bs4爬取所有股票信息呢？因为他比较原始，因此今天的数据，爬取起来也是比较繁琐的！接下来让我们emmmm。。。。你懂得 爬取步骤 第一步 ：获取股票代码 1）我们通过这个链接去网易看一下具 ...
分类：
其他好文 时间：
2019-10-20 13:12:24
阅读次数：
110
一.python使用的模块 1.numpy 数据分析的底层数据结构 2.matplotlib 数据可视化模块 3.pandas 数据分析高级接口模块,在前两个的基础上 4.scipy,sklearn 机器学习库,提供算法 ...
分类：
编程语言 时间：
2019-10-19 20:19:47
阅读次数：
104
基于crawlspider的全站数据爬取 1.spider的子类 2 .使用流程 创建一个基于CrawlSpider的爬虫文件 scrapy genspider -t crawl spidername 蜘蛛运行后,先访问start_url给定的第一个页面, 将响应对象res返回给parse方法, p ...
分类：
其他好文 时间：
2019-10-19 18:50:26
阅读次数：
79
该工具主要是利用了爬虫，爬取web有道翻译的内容. 然后利用简易GUI来可视化结果。 首先我们进入有道词典的首页，并点击翻译结果的审查元素 之后request响应网页，并分析网页，定位到翻译结果。 使用tkinter来制作一个建议的GUI 期间遇到的一个问题则是如何刷新翻译的结果，否则的话会在tex ...
分类：
编程语言 时间：
2019-10-19 17:39:48
阅读次数：
424
在网上爬取了网上的一些数据，存储在了mysql数据库中，想使用Django将数据展示出来，在网上看到都是使用Django的models和makemigration，migrate命令来创建新表，并使用。 可是我的数据已经存在了已经创建好，并且已经存储有数据了，不能再重新创建新表了。 了解Django ...
分类：
数据库 时间：
2019-10-19 15:18:12
阅读次数：
110
下载文件是一种很常见的需求，例如当你在使用爬虫爬取网站中的图片、视频、word、pdf、压缩包等的时候 scrapy中提供了FilesPipeline和ImagesPipeline，专门用来下载文件和图片： 我们其实可以把这两个item pipeline看成是特殊的下载器，用户使用的时候只需要通过i ...
分类：
其他好文 时间：
2019-10-19 15:08:06
阅读次数：
296
利用item pipeline可以实现将数据存入数据库的操作，可以创建一个关于数据库的item pipeline 需要在类属性中定义两个常量 DB_URL：数据库的URL地址 DB_NAME：数据库的名字 在Spider爬取的整个过程中，数据库的连接和关闭操作只需要进行一次就可以，应该在开始处理之前 ...
分类：
数据库 时间：
2019-10-19 09:52:48
阅读次数：
132
在帮自家亲戚做app爬虫的过程中发现了了一位搞爬虫的牛人。 我一直在摸索一种能够像web爬虫一样，方便爬取app信息的方法。最近刚刚摸到头绪。主要是有Airtest这个趁手的兵器，有了它App信息的抓取跟Web上信息抓取没啥区别了。 得益于下面这篇文章 https://www.kingname.in ...
分类：
其他好文 时间：
2019-10-19 00:32:41
阅读次数：
76
