爬虫串讲 requests 一定要掌握 爬取数据流程: 1. 指定url 2. 发起请求 3. 获取响应数据 4. 数据解析 5. 持久化存储 get,post参数: url data/params headers proxies 处理ajax动态加载的数据: 动态加载的数据: 通过另一个请求请求到 ...
分类：
其他好文 时间：
2019-09-05 18:20:09
阅读次数：
89
1.前后端传输编码格式contentType： urlencoded： 对应的数据格式：name=XXX&password=66 后端获取数据：request.POST django会将urlencoded编码的数据解析自动放到request.POST formdata： form表单传输文件的编码 ...
分类：
Web程序 时间：
2019-08-31 12:41:37
阅读次数：
176
准备工作 什么是框架?如何学习框架? 就是一个集成了各种功能且具有很强通用性(可以被应用在各种不同的需求中)的一个项目模板. scrapy集成了哪些功能: 高性能的数据解析操作,持久化存储操作,高性能的数据下载的操作..... 环境的安装: scrapy的基本使用 创建一个工程:scrapy sta ...
分类：
其他好文 时间：
2019-08-30 22:40:11
阅读次数：
74
xpath 解析 模块安装 : pip install lxml xpath的解析原理 实例化一个etree类型的对象,且将页面源码数据加载到该对象中 需要调用该对象的xpath方法结合着不同形式的xpath表达式进行标签定位和数据提取 etree对象的实例化 etree.parse(fileNan ...
分类：
其他好文 时间：
2019-08-29 16:06:09
阅读次数：
70
1.数据解析 解析: 根据指定的规则对数据进行提取 作用: 实现聚焦爬虫 数据解析方式 : 数据解析的通用原理 : 数据解析需要作用在页面源码中(一组html标签组成的) 通用原理: 标签定位 获取文本或者属性 正则表达式实现数据解析 2.bs4 解析模块 模块安装 : pip install bs ...
分类：
其他好文 时间：
2019-08-29 15:59:37
阅读次数：
124
通常前端通过POST请求向服务器端提交数据格式有4中，分别是"application/x www form urlencoded"格式、" multipart/form data"格式、"application/json"格式和"text/xml"格式。通常最常见的是"application/jso ...
分类：
移动开发 时间：
2019-08-26 19:34:58
阅读次数：
135
web请求流程: 那么,什么是web框架呢?web框架就是上面图中的那个红色的部分,就是连接浏览器与数据库操作,中间的部分,全部封装好的一个框架,就叫做web框架.我们只需要使用这个框架往特定的区域填写代码就可以了 python三大主流框架: a:socket服务 b;路由与视图映射关系 c:模板渲 ...
分类：
编程语言 时间：
2019-08-22 01:18:38
阅读次数：
221
"@[toc] 解析器 解析器的作用就是服务端接收客户端传过来的数据，把数据解析成自己想要的数据类型的过程. 本质就是对请求体中的数据进行解析. ：用于声明我给你传的是什么类型的数据 : application/x ww form urlencoded 表单数据类型 : multipart/form ...
分类：
其他好文 时间：
2019-08-19 12:45:49
阅读次数：
82
原文: http://blog.gqylpy.com/gqy/294 "@[toc] 解析器 解析器的作用就是服务端接收客户端传过来的数据，把数据解析成自己想要的数据类型的过程. 本质就是对请求体中的数据进行解析. ：用于声明我给你传的是什么类型的数据 : application/x ww form ...
分类：
其他好文 时间：
2019-08-17 18:04:51
阅读次数：
93
数据解析 requests实现数据爬取的流程 因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据，所以，我们的数据爬取的流程可以修改为： 正则解析 常用的正则表达式回顾： re模块练习： 项目爬取练习： Xpath解析 xpath表达式 ...
分类：
其他好文 时间：
2019-08-15 21:04:49
阅读次数：
87
