昨天刚买的崔大大的《Python3网络爬虫开发实战》，今天就到了，开心的读完了爬虫基础这一章，现记录下自己的浅薄理解，如有见解不到位之处，望指出。 1.HTTP的基本原理 ①我们经常会在浏览器输入www.baidu.com这一网址，这一网址到底是什么呢？其实这就是URL，即(Universal Re ...
分类：
编程语言 时间：
2018-06-14 21:02:53
阅读次数：
164
小说网 https://www.qu.la/paihangbang/ 功能：抓取每个排行榜内的小说名和对应链接，然后写入excel表格里面。 按F12 审查页面元素可以得到你所要的信息的class，从而来定位。 具体看代码讲解吧。 本次主要是记录编码问题。 编写完后run完出来是一个乱码的excel ...
分类：
编程语言 时间：
2018-06-08 19:30:42
阅读次数：
140
使用python过程中经常会不经意间遇到非常有趣的用法，于是特意搜集了一些有趣的用法1.for-else用法循环正常结束则执行else语句。一般用于循环找符合条件的元素，如果找到则break调出循环，不会触发else；如果没有找到（完整运行循环）则printnotfound详见Python中循环语句中的else用法《EffictivePython》一书中对for-else用法提出了质疑，主要观点是
分类：
编程语言 时间：
2018-06-05 15:41:05
阅读次数：
191
为什么要学习爬虫？ 学习爬虫，可以私人订制一个搜索引擎。 大数据时代，要进行数据分析，首先要有数据源。 对于很多SEO从业者来说，从而可以更好地进行搜索引擎优化。 什么是网络爬虫？ 模拟客户端发送网络请求，接收请求对应的数据，按照一定的规则，自动抓取互联网信息的程序。 只要是客户端(浏览器)能做的的... ...
分类：
其他好文 时间：
2018-05-19 21:26:00
阅读次数：
257
if __name__ == '__main__': 解释：https://zhuanlan.zhihu.com/p/21297237 'gbk' codec can't encode character '\u2b07' in position 17: illegal multibyte sequ ...
分类：
其他好文 时间：
2018-05-13 21:04:16
阅读次数：
150
#coding:utf-8importurllib2importosimportsysreload(sys)sys.setdefaultencoding("utf-8")frombs4importBeautifulSoupheads={}heads[‘User-Agent‘]=‘Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,lik
分类：
编程语言 时间：
2018-05-12 17:26:12
阅读次数：
138
BeautifulSoup插件的使用 这个插件需要先使用pip安装（在上一篇中不再赘言），然后再程序中申明引用 这里find方法只会查找第一个匹配的元素，所以返回的是一个对象，find_all方法会查找所有匹配的元素，所以返回的是list 在使用网页文本的时候用text，在下载多媒体文件的时候用co ...
分类：
编程语言 时间：
2018-05-11 20:25:46
阅读次数：
169
爬虫了解一下 网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 Python的安装 本篇教程采用Python3 来写，所以你需要给你的电脑装上Python3才行。注意选择正确的版本，一般下载并且安装完成，pip也一起安装好了。 链接：https://pa ...
分类：
编程语言 时间：
2018-05-11 00:49:48
阅读次数：
238
