requests模块 爬虫中一个基于网络请求的模块 pip install requests 作用：模拟浏览器发起请求 编码流程： 1 . 指定url 2 . 发起请求 3 . 获取响应数据（爬取到的页面源码数据） 4 . 进行持久化存储 简单例子： 实现一个简易网页采集器 基于搜狗针对指定不同的关 ...
分类：
其他好文 时间：
2020-04-12 20:19:35
阅读次数：
78
聚焦爬虫的流程 得到url_list即需要爬取的url地址， 发起请求，返回响应内容， 如果响应内容中还有你需要爬取的url再添加到url_list中， 再次发起请求，直到没有url或者不需要爬取的url， 提取数据，提取需要的数据， 最后一步，把数据存入数据库 requests模块 作用：发起请求 ...
分类：
其他好文 时间：
2020-04-12 18:22:17
阅读次数：
52
1. 实战1 https://www.cnblogs.com/HByang/p/12655060.html https://www.cnblogs.com/vhhi/p/12329671.html 2. 实战2 https://blog.csdn.net/qq_36658406/article/de ...
分类：
编程语言 时间：
2020-04-12 08:22:59
阅读次数：
72
cnblogs_spider.py piplines.py ...
分类：
其他好文 时间：
2020-04-11 20:10:06
阅读次数：
55
动态渲染页面爬取 JavaScript动态渲染 其中一种方式是Ajax请求，通过直接分析Ajax再用requests来实现数据爬取 另外一种方式是模拟浏览器运行 一、 Selenium库 Selenium是自动化测试工具，可以驱动浏览器执行特定动作(点击、下拉)，还可以获取浏览器当前呈现页面的源代码 ...
分类：
其他好文 时间：
2020-04-11 17:03:01
阅读次数：
89
Scrapy 架构 它可以分为如下的几个部分。 Engine引擎(大总管)，用来处理整个系统的数据流处理，触发事务，是整个框架的核心。 Item，项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。 Scheduler， 调度器，用来接受引擎发过来的请求并加入队列中，并在引擎再次请求的时候 ...
分类：
其他好文 时间：
2020-04-10 19:45:00
阅读次数：
89
request模块： 文件乱码： 反爬机制： 动态加载数据爬取 回顾： 正则，xpath，bs4： 正则解析： b64： xpath: 合并条件： 错误分析 ...
分类：
其他好文 时间：
2020-04-10 17:17:30
阅读次数：
73
瑞幸不同于马蜂窝，马蜂窝是用的爬虫技术，爬取数据，分析用户行为。瑞幸是门店，这次是采用的人肉技术。这份做空报告的实际制作方，是一家投资管理公司雪湖资本。雪湖找到了三家咨询公司——外资咨询公司ThirdBridge，本土咨询公司汇生咨询、久谦咨询，来完成做空所需的调研工作。其中，ThirdBridge协助早期的专家访谈环节，汇生咨询和久谦咨询执行后期的实地调查环节。截至发稿前，燃财经暂未得到这四家机
分类：
其他好文 时间：
2020-04-09 19:06:35
阅读次数：
145
搭建免费代理池 https://github.com/jhao104/proxy_pool # 收费的：提供给你一个接口，每调一次这个接口，获得一个代理 # 免费：用爬虫爬取，免费代理，放到我的库中，flask，django搭一个服务（删除代理，自动测试代理可用性），每次发一个请求，获取一个代理 # ...
分类：
其他好文 时间：
2020-04-08 22:38:29
阅读次数：
103
爬取汽车之家新闻 # 爬取汽车之家 import requests # 向汽车之家发送get请求，获取到页面 ret = requests.get('https://www.autohome.com.cn/news/1/#liststart') # print(ret.text) # bs4解析(可 ...
分类：
其他好文 时间：
2020-04-08 21:00:07
阅读次数：
94
