Python之urllib库详解

标签：author   路径   原因   文件中   hand   定义   地址   add   version   

urllib 是 Python 标准库中用于网络请求的库。

该库有四个模块，分别是：

urllib.request

urllib.error

urllib.parse

urllib.robotparser

1 发起请求

模拟浏览器发起一个 HTTP 请求，我们需要用到 urllib.request 模块。urllib.request 的作用不仅仅是发起请求， 还能获取请求返回结果。发起请求，单靠 urlopen() 方法就可以叱咤风云。我们先看下 urlopen() 的 API：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None,context=None)

使用 urllib.request.urlopen() 去请求百度贴吧，并获取到它页面的源代码。

import urllib.request

url = "http://tieba.baidu.com"
response = urllib.request.urlopen(url)
html = response.read()         # 获取到页面的源代码
print(html.decode(‘utf-8‘))    # 转化为 utf-8 编码

1.2 设置请求超时

有些请求可能因为网络原因无法得到响应。因此，我们可以手动设置超时时间。当请求超时，我们可以采取进一步措施，例如选择直接丢弃该请求或者再请求一次。

import urllib.request

url = "http://tieba.baidu.com"
response = urllib.request.urlopen(url, timeout=1)
print(response.read().decode(‘utf-8‘))

1.3 使用 data 参数提交数据

在请求某些网页时需要携带一些数据，我们就需要使用到 data 参数。

import urllib.parse
import urllib.request

url = "http://www.baidu.com/"
params = {
  ‘name‘:‘TTT‘,
  ‘author‘:‘Miracle‘
}

data = bytes(urllib.parse.urlencode(params), encoding=‘utf8‘)
response = urllib.request.urlopen(url, data=data)
print(response.read().decode(‘utf-8‘))

params 需要被转码成字节流。而 params 是一个字典。我们需要使用 urllib.parse.urlencode() 将字典转化为字符串。再使用 bytes() 转为字节流。最后使用 urlopen() 发起请求，请求是模拟用 POST 方式提交表单数据。

注意：当url地址含有中文或者“/”的时候，这是就需要用做urlencode一下编码转换。urlencode的参数是词典，它可以将key-value这样的键值对转换成我们想要的格式

urllib.request.Request(url, data=None, headers={}, origin_req_host=None,
unverifiable=False, method=None)

#修改User-Agent为chrome的UA进行伪装
import urllib.request

url = "http://tieba.baidu.com/"
headers = {
    ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36‘
}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
print(response.read().decode(‘utf-8‘))

import urllib.request

url = "http://tieba.baidu.com/"
headers = {
    ‘User-Agent‘: ‘Mozilla/5.0 AppleWebKit/537.36 Chrome/56.0.2924.87 Safari/537.36‘
}

proxy_handler = urllib.request.ProxyHandler({
    ‘http‘: ‘web-proxy.oa.com:8080‘,
    ‘https‘: ‘web-proxy.oa.com:8080‘
})
opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)

request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
print(response.read().decode(‘utf-8‘))        

import urllib.request
url = "http://cnblogs.com/xtznb/"
user = ‘奇迹‘
password = ‘password‘
pwdmgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
pwdmgr.add_password(None,url,user,password)

auth_handler = urllib.request.HTTPBasicAuthHandler(pwdmgr)
opener = urllib.request.build_opener(auth_handler)
response = opener.open(url)
print(response.read().decode(‘utf-8‘))

import http.cookiejar
import urllib.request

url = "http://tieba.baidu.com/"
fileName = ‘cookie.txt‘

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open(url)

f = open(fileName,‘a‘)
for item in cookie:
    f.write(item.name+" = "+item.value+‘\n‘)
f.close()

import urllib.request
import urllib.error

url = "http://www.google.com"
try:
    response = request.urlopen(url)
except error.URLError as e:
    print(e.reason)

import urllib.request
import urllib.error

url = "http://www.google.com"
try:
    response = request.urlopen(url)
except error.HTTPError as e:
   print(‘code: ‘ + e.code + ‘\n‘)
   print(‘reason: ‘ + e.reason + ‘\n‘)
   print(‘headers: ‘ + e.headers + ‘\n‘)

Python之urllib库详解

标签：author   路径   原因   文件中   hand   定义   地址   add   version   

原文地址：https://www.cnblogs.com/xtznb/p/10960396.html