前言 文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者： 风，又奈何 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun 准备 python3 scrapy 项目创建： ...
分类：
编程语言 时间：
2020-04-14 20:20:50
阅读次数：
87
# 需求：爬取搜狗首页的页面数据import requestsif __name__ == '__main__': # 1指定url url = 'https://www.sogou.com/' # 2发起请求 res = requests.get(url=url) # get方法会返回一个响应对象 ...
分类：
其他好文 时间：
2020-04-13 16:46:37
阅读次数：
61
import requestsimport jsonif __name__ =='__main__': headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gec ...
分类：
其他好文 时间：
2020-04-13 16:44:16
阅读次数：
70
import json import requests if __name__ == '__main__': url = 'https://movie.douban.com/j/chart/top_list' param = { 'type': '24', 'interval_id': '100:9 ...
分类：
其他好文 时间：
2020-04-13 16:41:47
阅读次数：
91
爬虫5 scrapy框架2 全站爬取cnblogs, scarpy请求传参, 提高爬取效率, 下载中间件, 集成selenium, fake-useragent, 去重源码分析, 布隆过滤器, 分布式爬虫, java等语言概念补充, bilibili爬视频参考
1 全站爬取cnblogs # 1 scrapy startproject cnblogs_crawl # 2 scrapy genspider cnblogs www.cnblogs.com 示例： # cnblogs_crawl/cnblogs_crawl/spiders/cnblogs.py ...
分类：
编程语言 时间：
2020-04-13 01:13:46
阅读次数：
117
线程池实现爬取数据 协程基础 概念部分 代码部分 多任务操作 多任务的异步爬虫 ...
分类：
其他好文 时间：
2020-04-12 22:51:17
阅读次数：
79
scrapy请求传参 提高爬取效率的方式 fake useragent ...
分类：
其他好文 时间：
2020-04-12 22:50:46
阅读次数：
76
基于selenium实现自动化爬取数据 如果想具体查看selenium自动化模块的更多功能请看我的博客测试分类中有介绍 selenium 概念：基于浏览器自动化的模块 自动化：可以通过代码指定一系列的行为动作，然后将其作用到浏览器中。 pip install selenium selenium和爬虫 ...
分类：
其他好文 时间：
2020-04-12 22:47:16
阅读次数：
67
动态加载的数据 例子1：爬取豆瓣电影中的电影详情数据 url:https://movie.douban.com/ 1.什么是动态加载的数据： 我们通过requests模块进行数据爬取无法每次都是可见即可得，有些数据是通过非浏览器地址栏中得url请求到的地址。而是其他请求请求到的数据，那么这些通过其他 ...
分类：
其他好文 时间：
2020-04-12 20:52:27
阅读次数：
99
如下图，爬取标题，标题为中文内容，打印出乱码 解决方法，需要对请求后得返回数据重新编码 response = requests.get(url=url2) response.encoding = 'utf-8' #处理编码得步骤 print(url2) wb_data = response.text ...
分类：
其他好文 时间：
2020-04-12 20:37:26
阅读次数：
60
