import requests from lxml import etree ###网址 url="https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6" ###模拟浏览器 header={'User-Agent':'Mozilla ...
分类：
其他好文 时间：
2020-02-06 14:34:39
阅读次数：
73
urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 1.urlopen函数： 在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlopen函数基 ...
分类：
Web程序 时间：
2020-01-26 17:16:32
阅读次数：
173
categories: 爬虫 tags: urlopen urlretrieve urlencode parse_qs urlparse urlsplit urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数 ...
分类：
Web程序 时间：
2020-01-16 21:51:59
阅读次数：
126
categories: 爬虫 tags: urlopen urlretrieve urlencode parse_qs urlparse urlsplit urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数 ...
分类：
Web程序 时间：
2020-01-16 20:31:31
阅读次数：
115
urllib（request,error,parse,robotparse） request模块 方法:urlopen() 最基本http请求方法，利用它可以模拟浏览器的一个请求发起过程，同时他还带有助力授权验证authentication,重定向redirection,浏览器cookie 以及其他 ...
分类：
Web程序 时间：
2020-01-16 14:18:05
阅读次数：
99
1. 请求方式 # 介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请 ...
分类：
编程语言 时间：
2020-01-14 10:09:17
阅读次数：
124
接上篇 swaggerUI提供了可视化界面帮助我们管理服务的访问路口，这就需要我们在代码中规范我们的书写格式。并且在swagger的界面上还能够模拟浏览器对服务进行访问。 接口总览 创建POST接口 创建一个保存用户的接口 创建一个PUT接口 修改用户接口 创建一个GET接口 创建获取用户信息的接口 ...
分类：
编程语言 时间：
2020-01-13 18:23:06
阅读次数：
90
在进行爬虫爬取淘宝商品信息时候，利用selenium来模拟浏览器进行爬取时遇到了这个问题： selenium.common.exception.WebDriverException:Message:'chromedriver' executable needs to be in Path 详细如下图... ...
分类：
Web程序 时间：
2020-01-12 11:44:09
阅读次数：
83
原文地址：https://www.sojson.com/blog/58.html HTTP 请求头部 referer 概述 referer 是 HTTP 请求头部的一部分。当浏览器（或者模拟浏览器行为）向web 服务器发送请求的时候，头信息里有包含 Referer 。Referer的的作用是指示一个 ...
分类：
Web程序 时间：
2020-01-11 16:59:04
阅读次数：
123
爬虫学习 Python网络爬虫第三弹《爬取get请求的页面数据》 一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是u ...
分类：
编程语言 时间：
2020-01-11 10:12:56
阅读次数：
105
