标签：nbsp firefox htm 设定 format 不同 post use none
对于互联网数据，Python 有很多处理网络协议的工具，urllib 是很常用的一种。
一、urllib.request，request 可以很方便的抓取 URL 内容。
参数：url=‘http://www.baidu.com’，请求的 url。
data=None，请求的数据，可有可无，bytes 类型。
timeout=3，设置访问超时时间，可有可无
cafile=None，HTTPS 请求 CA 证书
capath=None，CA 证书 path
context=None，指定 SSL 设置，可有可无，ssl.SSLContext 类型
参数：url，请求 url。
data=None，请求参数，可有可无
headers={}，请求 header 参数。
origin_req_host=None，请求 host 或 IP
unverifiable=False，表明请求是否无法验证，默认为 false
method=None，请求方法，get、post、put 等
from urllib import request,parse #url url = ‘http://fanyi.baidu.com/sug‘ #request data data = {‘kw‘: ‘python‘} data = parse.urlencode(data).encode(‘utf-8‘) #proxy proxy = {‘http‘: ‘120.194.18.90:81‘} proxy_handler = request.ProxyHandler(proxy) opener = request.build_opener(proxy_handler) request.install_opener(opener) #headers = { # ‘Content-Length‘: len(data), # ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0‘ #} #req = request.Request(url=base_url, data=data, headers=headers) req = request.Request(base_url, data) req.add_header(‘User-Agent‘, ‘Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0‘) rsp = request.urlopen(req) result = rsp.read().decode(‘utf-8‘) print(result)
#rsp 的属性 print(‘返回数据类型: {}‘.format(type(rsp))) print(‘返回数据信息: {}‘.format(rsp)) print(‘header 信息: {}‘.format(rsp.info())) print(‘header 信息: {}‘.format(rsp.getheaders())) print(‘header 属性信息: {}‘.format(rsp.getheader(‘Server‘))) print(‘响应状态信息: {}‘.format(rsp.status)) print(‘响应状态信息: {}‘.format(rsp.getcode())) print(‘响应的 URL: {}‘.format(rsp.geturl()))
#cookie 操作 from urllib import request from http impot cookiejar #获取 cookie cookie = cookiejar.CookieJar() handler = request.HTTPCookieProcessor(cookie) opener = request.build_opener(handler) rsp = opener.open(‘http://www.baidu.com‘) res = rsp.read().decode(‘utf-8‘) print(res) #保存 cookie #FileCookieJar、MozillaCookieJar、LWPCookieJar，不同的保存格式 filename = ‘cookie.txt‘ cookie = cookiejar.MozillaCookieJar(filename) handler = request.HTTPCookieProcessor(cookie) opener = request.build_opener(handler) rsp = opener.open(‘http://www.baidu.com‘) cookie.save(igonre_discard=True, ignore_expires=True) #使用 cookie cookie cookiejar.MozillaCookieJar() cookie.load(‘cookie.txt‘, ignore_discard=True, ignore_expires=True) handler = request.HTTPCookieProcessor(cookie) opener = request.build_opener(handler) rsp = opener.open(‘http://www.baidu.com‘) res = rsp.read().decode(‘utf-8‘) print(res)
二、urllib.parse
参数：
url，访问 url
scheme，解析协议，https、http
allow_fragments=False，是够带有查询参数
#1 url = ‘https://www.baidu.com/s?‘ qs = {‘wd‘:‘python‘} qs = urllib.parse.urlparse(qs) full_url = url + qs #2 url = urllib.parse.urlparse(‘http://www.baidu.com/s?wd=python‘) print(url) #3 data = [‘http‘, ‘www.baidu.com‘, ‘s‘, ‘wd=python‘] print(urllib.parse.urlunparse(data)) #4 print(urllib.parse.urljson(‘http://www.baidu.com‘, ‘index.html‘))
三、urllib.error
通过 try...except 可以捕捉异常，error 分为 HTTPError，URLError
try: res = urllib.request.urlopen(url).open().decode(‘utf-8‘) print(res) except urllib.error.URLError as e: print(e) except urllib.error.HTTPError as e: print(e) except Exception as e: print(e)
四、urllib.robotparser
标签：nbsp firefox htm 设定 format 不同 post use none
原文地址：https://www.cnblogs.com/rendd/p/10208182.html
