一.爬虫的基本流程: 二.我们来爬一个校花网 并发版: 三.request的基本使用 1.get请求的两种方式: 每次url编码会很麻烦,所以可以在GET内添加参数即可: get请求访问知乎: get请求访问github: 2.post请求 3.response 下载一张图片: 补充: ...
分类：
编程语言 时间：
2019-06-24 00:56:37
阅读次数：
151
fetch 在原生ajax+es6promise的基础上封装的一个语法糖，返回promise对象。 cookie，localStorage，sessionStorage，indexDB + cookie 由服务器通过返回响应在浏览器上设置，用于存储会话信息的。性质上是绑定在特定的域名下的，当设定了一 ...
分类：
编程语言 时间：
2019-06-15 13:17:35
阅读次数：
103
1 如果参数中含有特殊字符&,则强制URL编码 2 3 http协议中参数的传输是"key=value"这种简直对形式的，如果要传多个参数就需要用“&”符号对键值对进行分割。如"?name1=value1&name2=value2"，这样在服务端在收到这种字符串的时候，会用“&”分割出每一个参数，然... ...
分类：
Web程序 时间：
2019-06-14 14:34:26
阅读次数：
203
什么是requests模块 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 优点:自动处理url编码 自动处理post请求参数 简化cookie和代理操作 如何使用requests模块 安装 ...
分类：
编程语言 时间：
2019-06-04 22:31:52
阅读次数：
148
Requests 安装requests模块： D:\Install\Python36>pip3 install requests 请求方式 #coding:utf-8 import requests requests.get("http://www.baidu.com") requests.post... ...
分类：
编程语言 时间：
2019-05-26 16:17:17
阅读次数：
115
注意：1.设置的时间字符串特殊字符如空格在添加到cookie前要进行URL编码，获取打印前要进行解码。 2.req获取的cookie是客户端带过来的,respond回去的是更改后的，要把客户端带来的和相应回去的cookie区分开。 ...
分类：
其他好文 时间：
2019-05-20 09:18:25
阅读次数：
130
GET参数通过URL传递，POST放在Request body中。 GET在浏览器回退时是无害的，而POST会再次提交请求。 GET产生的URL地址可以被Bookmark，而POST不可以。 GET请求会被浏览器主动cache，而POST不会，除非手动设置。 GET请求只能进行url编码，而POST ...
分类：
Web程序 时间：
2019-05-18 18:43:30
阅读次数：
155
第一个自己动手写成的 JAVA 的程序 程序功能是通过高德地图的地理API，将文本格式的地址转换成经纬度。 涉及的知识点有： HTTP GET 请求 URL 编码 JSON 解析 自己记录一下 ...
分类：
编程语言 时间：
2019-05-10 23:56:56
阅读次数：
250
1.URL编码 URL编码是浏览器发送数据给服务器时使用的编码。 如通过百度搜索美女： 编码前：https://www.baidu.com/s?wd=美女 编码后：https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3 URL编码规则： A Z, a z, 0 9 ...
分类：
编程语言 时间：
2019-05-07 20:03:52
阅读次数：
165
一、http协议url组成部分详解：1、协议类型2、ip（服务器地址）3、port（或域名）4、path（请求资源所在地址）5、?（资源地址与参数的分割符合）6、参数（请求参数）7、&（多个参数之间的连接符号）8、url中如果存在中文，传输时是以urlencode类型传输的，可以通过url编码或解码 ...
分类：
Web程序 时间：
2019-05-06 14:28:11
阅读次数：
181
