1 前言 Python开发网络爬虫获取网页数据的基本流程为： 发起请求 通过URL向服务器发起request请求，请求可以包含额外的header信息。 获取响应内容 服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。 ...
分类：
编程语言 时间：
2020-03-09 13:10:42
阅读次数：
85
asp.net mvc表单提交的几种方式 MVC中form提交和在控制器中怎样接受1.cshtml页面form提交2.控制器处理表单提交数据4种方式方法1:使用传统的Request请求取值[HttpPost]public ActionResult AddNews(){ string a=Reques ...
分类：
Web程序 时间：
2020-03-06 10:54:51
阅读次数：
77
遇到一个问题，将入参的必填参数按照dict格式填入excel表格中，从excel读取数据传递到request请求一直获取不到参数 解决： 1、注意从excel中读取的数据格式为str，传递到request请求的参数格式要求为dict 2、需要将数据反序列化，有以下两种方法： request.post ...
分类：
其他好文 时间：
2020-03-04 23:31:31
阅读次数：
96
本文知识点 隧道代理的使用流程 代码样例 进阶学习 前提条件: 隧道代理的订单，可以 免费试用 。联系他们的客服开通试用 使用流程 获取隧道信息 设置代理，进行验证 开始爬取 代理验证采用用户名密码的方式。这种验证很方便，简洁。 代码样例 先把代码贴出来，再一步一步按要求来。大家先copy过去，代码 ...
分类：
其他好文 时间：
2020-02-19 01:14:26
阅读次数：
279
YARN YARN是什么? YARN是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 如果没有YARN! 1. 无法管理集群资源分配问题。 2. 无法合理的给程序分配合理的资源。 ...
分类：
其他好文 时间：
2020-02-17 22:35:33
阅读次数：
311
错误处理 在一些网站开发中，经常会需要捕获一些错误，然后将这些错误返回比较优美的界面，或者是将这些错误的请求做一些日志保存。 常见的错误码： 1.404：服务器没有指定的url。 2.403：没有权限访问相关的数据。 3.405：请求的method错误。 4.400：bad request,请求的参 ...
分类：
其他好文 时间：
2020-02-14 10:38:15
阅读次数：
60
比如，需要抓取链接“http://stockpage.10jqka.com.cn/000955/”下图3个周期的涨幅数据 这里我们先使用request请求获得数据，然后通过正则re匹配数据 分析网页结构数据，需要的数据存放在名称为“even hot_cont”的class下 所以正则的写法为： 1、 ...
分类：
其他好文 时间：
2020-02-11 11:25:13
阅读次数：
157
request 请求 -->1：过滤器 doFilter2：拦截器 preHandle3：消息转换器 readInternal4：AOP before5：Controller6：Response7：AOP after8：消息转换器 writeInternal9：拦截器 postHandle 过滤器： ...
分类：
编程语言 时间：
2020-02-10 12:09:39
阅读次数：
100
request请求生命周期 一、request请求分析 1.1. request数据请求 总结： 1. drf中的request是在wsgi的request基础上进行再一次封装 2. 将wsgi的request作为drf的request的一个属性, 3. drf中的request对wsgi中的req ...
分类：
其他好文 时间：
2020-02-10 11:34:52
阅读次数：
99
安装 requests.request() 请求接受的参数 requests.request(method, url, kwargs)类能够构造一个请求，支持不同的请求方式 request类中几个参数： method：请求方式。 url：请求URL。 kwargs： params：字典或者字节序列， ...
分类：
其他好文 时间：
2020-01-30 20:40:14
阅读次数：
79
