学习了爬虫后尝试爬取网页文字内容，掌握后开始爬取图片内容 我爬取的网页是所有人的童年：www.4399.com 我先爬取了文字内容，是成功的。之后我开始尝试爬取图片 import requestsimport os url="http://4399.com"root = "D://123456789 ...
分类：
其他好文 时间：
2020-04-30 21:39:42
阅读次数：
69
import urllib.request # r=urllib.request.urlopen("http://183.247.167.54:7009/#/map") # print(r.read())#爬取网页源码 r=urllib.request.urlopen("http://183.247 ...
分类：
Web程序 时间：
2020-04-29 18:02:09
阅读次数：
66
一、主题式网络爬虫设计方案1.主题式网络爬虫名称：爬取微博热搜榜2.主题式网络爬虫爬取的内容：微博热搜前十3.主题式网络爬虫设计方案概述：确定爬取网页，将爬取数据保存到csv文件中，并对数据进行清理处理，将数据进行可视化并建立回归方程。知识掌握不充分，对网页爬取还有很多不懂。 二、主题页面的结构特征 ...
分类：
其他好文 时间：
2020-04-23 18:58:32
阅读次数：
57
? 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 爬虫是什么？ 网络爬虫，也叫网络蜘蛛（Web Spider）。它根据网页地址（URL）爬取网页内容，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。说简单点就是 ...
分类：
编程语言 时间：
2020-04-17 15:31:26
阅读次数：
83
HTTP协议及Requests库的方法 HTTP: Hypertext Transfer Protocol,超文本传输协议 HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。也就是用户发出请求，服务器给出响应。无状态是指第一次请求与第二次请求之间并没有相关关联。应用层协议工作在TCP协议之 ...
分类：
编程语言 时间：
2020-04-17 00:39:55
阅读次数：
91
问题背景：当我们爬取网页信息时，对于一些标签的提取是没有意义的，所以需要提取标签中间的信息。 解决办法：用到了re包下的函数 方法1：用到了research()方法和group()方法 方法2：用到了findall（）方法 具体实现： import re # 匹配两个字符中间的所有字符 a = '< ...
分类：
编程语言 时间：
2020-04-01 15:02:06
阅读次数：
159
2020.3.22 pycharm：使用python进行爬取，并存储到文件 1.爬取网页的通用代码框架 1 try: 2 r = requests.get(url, timeout = 30) 3 r.raise_for_status() 4 r.encoding = r.apparent_enco ...
分类：
其他好文 时间：
2020-03-22 22:33:56
阅读次数：
79
用puppeteer爬取网页数据业务需求，页面需要显示很多链接列表，像这样的。我问项目经理要字典表，他笑咪咪地拍着我的肩膀说：“这边有点忙，要不按照这个自己抄一下吧”。emmm…我看了一下，数据大概有七八百条，一个一个录入，那不得搞到地老天荒、海枯石烂。心口一股燥热，差点就要口吐莲花，舌吐芬芳了…转... ...
分类：
Web程序 时间：
2020-03-07 13:01:59
阅读次数：
123
1 import urllib.request # 导入模块 2 import urllib.parse 3 4 # 将网页赋给变量file 5 file = urllib.request.urlopen("http://www.baidu.com") 6 7 # 读取网页 8 data = fil ...
分类：
编程语言 时间：
2020-03-03 20:52:33
阅读次数：
90
在某某花网上搜到一个视频，为了将视频下载到本地，我们尝试利用爬虫抓取资源 第一，我们检查网页元素，之后刷新页面 从上述信息中我们找到两个后缀名为.mp4的文件信息，其中第二条的status为206，留意它 点击这条信息，从中我们获取到了这条视频真正的URL 根据视频URL信息，参照之前爬取网页图片的 ...
分类：
编程语言 时间：
2020-03-01 00:08:55
阅读次数：
93
