## 简单爬虫 最近参加了长风杯数据挖掘竞赛，队内分工后我选择数据获取这一项任务。 ### 1、选取目标页面 https://space.bilibili.com/546195/video ### 2、利用Element检查工具寻找需求数据 ### 3、通过搜索查找api ### 4、在termin ...
分类：
其他好文 时间：
2020-11-08 17:12:03
阅读次数：
21
这是一个利用 requests模块，爬取照片，然后，在利用MyQR模块生成二维码，再配置相应的东西，就可以了用手机扫描二维码了。 大家也可以看我抖音的效果视频：正人君子小吕。里面有效果视频 requests获取图片 首先我们要获取网络上面的图片，例如，百度搜索美女图片 其次，获取图片的URL。 按 ...
分类：
编程语言 时间：
2020-11-06 01:28:34
阅读次数：
20
Scraoy入门实例一 Scrapy介绍与安装&PyCharm的安装&项目实战 一、Scrapy的安装 1.Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说,网络抓 ...
分类：
Web程序 时间：
2020-11-02 10:39:55
阅读次数：
47
在很火的某音平台，爬取一些自己感兴趣的东西，一路上跌跌撞撞，做个记录，便于日后翻看回忆。 1、手动拉流（wireshark+VLC） 最最开始，使用wireshark抓包，然后拿到流后，结合VLC手动拉流，进度极慢，不过也是比较适合小量拉流，不然脚本维护不是很熟练的话，并没有事半功倍的效果。 2、读 ...
分类：
其他好文 时间：
2020-11-01 09:56:41
阅读次数：
15
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于可以叫我才哥 ，作者可以叫我才哥 1.概述 《王者荣耀》上线至今5个年头了，作为这些年国内最热门的手游（没有之一），除了带来游戏娱乐之外，我们在这五周年之际，试着从他们 ...
分类：
其他好文 时间：
2020-10-31 01:57:20
阅读次数：
16
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于快学Python ，作者叶庭云 一、分析网页 网站的页面是 JavaScript 渲染而成的，我们所看到的内容都是网页加载后又执行了JavaScript代码之后才呈现出 ...
分类：
编程语言 时间：
2020-10-27 10:58:40
阅读次数：
26
scrapy是基于twisted的异步处理框架，与传统的requests爬虫程序执行流程不同，scrapy使用多线程，将发送请求，提取数据，保存数据等操作分别交给Scheduler（调度器），Downloader（下载器），Spider（爬虫），Pipeline（管道）等爬虫“组件”来完成。多线程的 ...
分类：
其他好文 时间：
2020-10-24 10:26:51
阅读次数：
25
404其实是一种http状态码，代表用户在浏览网页时，服务器无法提供正确信息或是服务器因不明原因导致不能正常返回信息。简单点说就是网页未找到或者网页丢失，就是出现404状态码。出现404的网页，我们称为404页面 404页面的影响 打开的页面形成404页面后，网页链接也就成为了死链接，死链过多会造成 ...
分类：
其他好文 时间：
2020-10-24 10:06:10
阅读次数：
14
Python爬虫爬取动态网页 我们经常会遇到直接把网页地址栏中的url传到get请求中无法直接获取到网页的数据的情况，而且右键查看网页源代码也无法看到网页的数据，同时点击第二页、第三页等进行翻页的时候，网页地址栏中的url也没变，这些就是动态网页，例如：http://www.neeq.com.cn/ ...
分类：
编程语言 时间：
2020-10-22 22:21:32
阅读次数：
21
