使用get方式时参数中不能有特殊字符，如：\,空格,%,#,&,=等等； 解决办法：用URL转义符替换。 下面列出如下： + URL 中+号表示空格 %2B 空格 URL中的空格可以用+号或者编码 %20 / 分隔目录和子目录 %2F ? 分隔实际的URL和参数 %3F % 指定特殊字符 %25 # ...
分类：
其他好文 时间：
2020-04-27 17:46:14
阅读次数：
215
转：https://www.cnblogs.com/qiyuedetiankong/p/10884154.html 1、get和post的区别？ l http是上层请求协议，主要定义了服务端和客户端的交互规格，底层都是tcp/ip协议 l Get会把参数附在url之后，用？分割，&连接不同参数，Ge ...
分类：
其他好文 时间：
2020-04-26 01:41:44
阅读次数：
79
OkHttp官网地址：https://square.github.io/okhttp/ 用法如下：（get请求） package okhttp3.guide; import java.io.IOException; import okhttp3.OkHttpClient; import okhttp ...
分类：
Web程序 时间：
2020-04-25 19:16:22
阅读次数：
76
Python爬虫实现vip电影下载 爬虫目的 实现对各大视频网站vip电影的下载，因为第三方解析网站并没有提供下载的渠道，因此想要实现电影的下载。 实现思路 1.选择一个合适的vip解析网站，这里选择了无名小站的接口，因为尝试了很多网站，有些网站想要爬取很困难，无名小站相对简单,接口为www.wmx ...
分类：
编程语言 时间：
2020-04-23 00:44:10
阅读次数：
115
问题背景 HTTP协议中GET请求方法中的请求头内容 : If Modified Since 具体描述 HTTP请求头的IMS（If Modified Since）：浏览器缓存记录的该文件的最后服务器修改时间。 浏览器发送HTTP请求时，把If Modified Since一起发到服务器去，服务器会 ...
分类：
Web程序 时间：
2020-04-22 13:32:42
阅读次数：
102
代码实现 获取vkey，从上面的分析我们可以知道，get请求的网址为 https://www.administratorm.com/WANG.WANG/index.php?url=[要下载的vip电影] 我采用输入链接的方式来拼接get请求要访问的url，顺便使用urllib库将输入链接编码，方便后 ...
分类：
编程语言 时间：
2020-04-21 13:08:01
阅读次数：
89
一、前言 scrapy的命令分为全局命令和项目命令。顾名思义，全局命令是不管什么时候都能使用，项目命令只能用于具体已存在的项目上。 二、全局命令 startproject（创建爬虫项目，一个项目下有一个或多个爬虫 -- scrapy startproject project_name [projec ...
分类：
其他好文 时间：
2020-04-20 23:25:33
阅读次数：
73
请求参数传递传统网站表单提交<form method="get" action="http://www.example.com"> <input type="text" name="username"/> <input type="password" name="password"/></form> ...
分类：
Web程序 时间：
2020-04-20 21:19:34
阅读次数：
87
最近在工作中使用到了用restTemplate去获取网站数据填入到数据库中，在这里记录下来以便以后使用： 代码很简单，一些注解我也写在了代码中 @RequestMapping("/test") @ResponseBody public void test() { try { RestTemplate ...
分类：
编程语言 时间：
2020-04-20 11:42:23
阅读次数：
293
重写父类中的一个方法（start_requests）：该方法默认可以对start_urls列表中的元素进行get请求的发送 1.将Request方法中method参数赋值成post2.FormRequest()可以发起post请求（推荐）实例：发送post请求抓取百度翻译spider文件 impor ...
分类：
其他好文 时间：
2020-04-19 11:05:42
阅读次数：
78
