学习爬虫之路,必经的一个小项目就是爬取豆瓣的TOP250了,首先我们进入TOP250的界面看看。 可以看到每部电影都有比较全面的简介。其中包括电影名、导演、评分等。 接下来,我们就爬取这些数据,并将这些数据制成EXCEL表格方便查看。 首先,我们用requests库请求一下该网页,并返回他的text ...
分类:
编程语言 时间:
2019-10-25 20:41:01
阅读次数:
136
什么是爬虫? 我们可以把互联网比作一张大网,而爬虫(即网络爬虫)便是在网上爬行的蜘蛛。把网的节点比作一个个网页,爬虫爬到这就相当于访问了该页面,获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系,这样蜘蛛通过一个节点后,可以顺着节点连线继续爬行到达下一个节点,即通过一个网页继续获取后续的网 ...
分类:
编程语言 时间:
2019-10-25 09:19:13
阅读次数:
132
在前段时间看了杰昆菲尼克斯的小丑电影,心里很好奇大部分观众看完这部电影之后对此有什么评价,然后看了看豆瓣短评之后,觉得通过python把短评中出现最多的单词提取出来,做成一张词云,看看这部电影给观众们留下的关键词是什么。
分类:
其他好文 时间:
2019-10-24 00:27:01
阅读次数:
116
第一部分:Java语言篇 1.《Java编程规范》 适合对象:初级、中级 介绍:这本书的作者是被誉为Java之父的James Gosling,入门者推荐阅读,对基础的讲解很不错。 2.《Java编程思想》 适合对象:初级、中级 介绍:豆瓣给出了9.1的评分,全球程序员广泛赞誉。有人说这本书不适合初学 ...
分类:
编程语言 时间:
2019-10-23 11:49:04
阅读次数:
79
pip国内的一些镜像 阿里云 https://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 ...
分类:
其他好文 时间:
2019-10-20 19:40:31
阅读次数:
409
一,校花网图片 二.豆瓣 三.校花网视频 四.tmall ...
分类:
其他好文 时间:
2019-10-19 14:55:02
阅读次数:
86
python爬虫初探 爬取前50名豆瓣电影: 废话少说,直接上代码! 如果你是直接复制粘贴的,那你这里一定会出现一大串儿红字 解决办法: 创建一个tmp文件夹里边存一个hello.xlsx 运行截图: ...
分类:
编程语言 时间:
2019-10-17 12:17:31
阅读次数:
143
1.发送get和post请求才能获取response信息,并且把两个response信息分开,只返回post请求的response信息。 2.分开之后处理response信息。 ...
分类:
其他好文 时间:
2019-10-12 10:44:47
阅读次数:
83
人脸识别:mtcnn (依赖opencv和tensorflow) 人脸对齐:face-alignment 国内镜像: 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技 ...
分类:
其他好文 时间:
2019-10-09 09:23:58
阅读次数:
399
import requestsimport reurl='https://movie.douban.com/cinema/nowplaying/beijing/'#豆瓣电影网resp=requests.get(url)text=resp.text#返回内容guize='<img src="(.*?) ...
分类:
其他好文 时间:
2019-10-07 23:24:20
阅读次数:
79