urllib库 urllib库是python中的一个基本网络请求库。用于模拟浏览器的行为,向指定服务器发送请求,并接收返回的数据。 在python3中所有的网络请求相关函数都集中在urllib.request模块下面 urlopen函数 向服务器发起请求 urlopen函数的参数 1. url 目标 ...
分类:
Web程序 时间:
2019-06-10 10:37:19
阅读次数:
115
2.2 网页基础 浏览器浏览的网页,均是浏览器根据超文本,CSS,以及,JS,的解解析规则,对服务器返回的数据进行解析加载,进而变成我们所见的页面。 2.21 网页的组成 1 HTML 构成网页的框架 定义网页的内容 2 CSS 构成框架中的元素的样式 规定网页的布局 3 JavaScript 对网... ...
分类:
Web程序 时间:
2019-06-08 16:26:50
阅读次数:
180
爬虫基础 2.1 http基础原理 写爬虫为啥要了解http的原理? 为了简要的理解http的请求响应过程,便于爬虫的流程的掌握。 2.11 URL和URL URI:统一资源标志符号 URN: 统一资源名称 命名资源 URL:统一资源定位符号 指定资源访问位置 例如网页链接 资源:指的是网络上所有可... ...
分类:
Web程序 时间:
2019-06-08 15:11:47
阅读次数:
120
爬虫基础 2.1 http基础原理 写爬虫为啥要了解http的原理? 为了简要的理解http的请求响应过程,便于爬虫的流程的掌握。 2.11 URL和URL URI:统一资源标志符号 URN: 统一资源名称 命名资源 URL:统一资源定位符号 指定资源访问位置 例如网页链接 资源:指的是网络上所有可... ...
分类:
Web程序 时间:
2019-06-08 15:09:04
阅读次数:
130
爬虫基础 2.1 http基础原理 写爬虫为啥要了解http的原理? 为了简要的理解http的请求响应过程,便于爬虫的流程的掌握。 2.11 URL和URL URI:统一资源标志符号 URN: 统一资源名称 命名资源 URL:统一资源定位符号 指定资源访问位置 例如网页链接 资源:指的是网络上所有可... ...
分类:
Web程序 时间:
2019-06-08 15:07:11
阅读次数:
134
一、浏览器Disable cache 和 Preserve log的作用 . . 二、复制url乱码情况 . 三、requests请求 四、浏览器报错 五、requests.get/requests.post请求参数 六、视频通过流的方式一行一行写入 . 七、requests发送请求出现htpps ...
分类:
其他好文 时间:
2019-06-06 21:30:33
阅读次数:
165
深入浅出了解HTTP协议 HTTP(HyperText Transfer Protocol,超文本传输协议)是互联网上应用最为广泛的一种网络协议。目前使用最普遍的一个版本是HTTP 1.1。 HTTP协议是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效,使网络传输减少。它 ...
分类:
编程语言 时间:
2019-06-06 12:21:43
阅读次数:
113
优雅到骨子里的Requests 本文地址:https://www.jianshu.com/p/678489e022c8 简介 上一篇文章介绍了Python的网络请求库urllib和urllib3的使用方法,那么,作为同样是网络请求库的Requests,相对于urllib,有什么优点呢? 其实,只有两 ...
分类:
编程语言 时间:
2019-06-06 12:16:46
阅读次数:
113
更简单高效的HTML数据提取-Xpath 本文地址:https://www.jianshu.com/p/90e4b83575e2 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。 相比于BeautifulSoup,Xpath在提取数据时会 ...
分类:
编程语言 时间:
2019-06-06 12:05:21
阅读次数:
128
Python网络请求urllib和urllib3详解 urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib。 官方文档链接为:https://docs.python.org/3/library/urlli ...
分类:
编程语言 时间:
2019-06-06 12:03:55
阅读次数:
116