0. 摘要 0.1 添加依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency> 0. ...
分类：
编程语言 时间：
2020-07-26 15:44:20
阅读次数：
108
一、python爬虫环境与简介 二、认识HTTP 三、简单静态网页爬取 四、常规动态网页爬取 五、模拟登陆 六、PC客户端抓包 七、Scrapy爬虫 一、python爬虫环境与简介 1、认识爬虫 （1）爬虫的概念 网络爬虫也被称为网络蜘蛛、网络机器人，是一个自动下载网页的计算机程序或自动化脚本。 网 ...
分类：
编程语言 时间：
2020-07-25 09:28:47
阅读次数：
66
这篇文章简要地介绍了一下爬虫、Scrapy框架，并讲述了一个基于Scrapy的B站爬虫小Demo。 ...
分类：
其他好文 时间：
2020-07-23 23:07:06
阅读次数：
75
案例一：解析出全国所有城市名称代码如下：importrequestsfromlxmlimportetreeif__name__=="__main__":headers={‘User-Agent‘:‘Mozilla/5.0(Macintosh;IntelMacOSX10_12_0)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.103Safar
分类：
编程语言 时间：
2020-07-23 19:04:28
阅读次数：
103
聚焦爬虫:爬取页面中指定的页面内容。编码流程：1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储数据解析分类：1.bs42.正则3.xpath(***)数据解析原理概述：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储1.进行指定标签的定位2.标签或者标签对应的属性中存储的数据值进行提取（解析）bs4进行数据解析数据解析的原理：1.标签定位2.提取标签、标签属性中存
分类：
编程语言 时间：
2020-07-22 20:21:41
阅读次数：
68
案例：使用正则爬取糗图百科图片单页面的代码importreimportrequestsimportos#创建文件夹ifnotos.path.exists(‘./qiutu‘):os.mkdir(‘./qiutu‘)headers={‘user-agent‘:‘Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)‘‘C
分类：
编程语言 时间：
2020-07-22 16:05:52
阅读次数：
79
来自 《Python项目案例开发从入门到实战》（清华大学出版社 郑秋生 夏敏捷主编）中爬虫应用——抓取百度图片 本文使用 request 库来爬取某个网站的图片，前面几章博客介绍了如何使用 urllib 库来抓取网页，本文主要使用的是 request 库来抓取网页内容，使用方法基本一致，但 requ ...
分类：
编程语言 时间：
2020-07-22 15:59:59
阅读次数：
96
容易发现已经结束掉的一个子串只要合法就对后面没有影响，所以可以令 \(f_{i,j,p,q}\) 表示前 \(i+j\) 个人有 \(i\) 个男孩，\(j\) 个女孩，所有后缀中男孩最多比女孩多 \(p\) 个，女孩最多比男孩多 \(q\) 个的方案数。 转移即枚举下一个位置是男孩或者女孩，记得对 ...
分类：
其他好文 时间：
2020-07-22 15:59:43
阅读次数：
58
参考了DotNetSpider示例，感觉DotNetSpider太重了，它是一个比较完整的爬虫框架。对比了以下各种无头浏览器，最终采用PuppeteerSharp+AngleSharp写一个爬虫示例。和上面的博文一样，都是用汽车之家的https://store.mall.autohome.com.c ...
分类：
其他好文 时间：
2020-07-22 15:41:09
阅读次数：
117
为了庆祝祖国生日， 小Z学起了斐波那契数列。
然后递推T了，咋办咯 ...
分类：
其他好文 时间：
2020-07-22 11:39:18
阅读次数：
61
