Python爬虫：urllib库的基本使用

时间：2020-01-24 09:31:58 阅读：133 评论：0 收藏：0 [点我收藏+]

标签：enc zha ascii UNC top decode zhang nta urlencode

Python爬虫：urllib库的基本使用

Python爬虫

请求网址获取网页代码

import urllib.request 
url = "http://www.baidu.com" 
response = urllib.request.urlopen(url) 
data = response.read() 
# print(data) 
# 将文件获取的内容转换成字符串 
str_data = data.decode("utf-8") 
print(str_data) 
# 将结果保存到文件中 
with open("baidu.html", "w", encoding="utf-8") as f: 
    f.write(str_data) 

get带参数请求

import urllib.request 
 
def get_method_params(wd): 
    url = "http://www.baidu.com/s?wd=" 
    # 拼接字符串 
    final_url = url + wd 
    # 发送网络请求 
    response = urllib.request.urlopen(final_url) 
    print(response.read().decode("utf-8")) 
 
get_method_params("美女") 

直接这么写会报错：
技术图片

原因是，网址里面包含了汉字，但是ascii码是没有汉字的，需要转义一下：

import urllib.request 
import urllib.parse 
import string 
 
def get_method_params(wd): 
    url = "http://www.baidu.com/s?wd=" 
    # 拼接字符串 
    final_url = url + wd 
    # 将包含汉字的网址进行转义 
    encode_new_url = urllib.parse.quote(final_url, safe=string.printable) 
    # 发送网络请求 
    response = urllib.request.urlopen(encode_new_url) 
    print(response.read().decode("utf-8")) 
 
get_method_params("美女") 

使用字典拼接参数

import urllib.request 
import urllib.parse 
import string 
 
def get_params(): 
    url = "http://www.baidu.com/s?w" 
 
    params = { 
        "wd": "美女", 
        "key": "zhang", 
        "value": "san" 
    } 
 
    str_params = urllib.parse.urlencode(params) 
    print(str_params) 
 
    final_url = url + str_params 
    # 将带有中文的url转义 
    encode_url = urllib.parse.quote(final_url, safe=string.printable) 
 
    response = urllib.request.urlopen(encode_url) 
    data = response.read().decode("utf-8") 
    print(data) 
 
get_params() 

Python爬虫：urllib库的基本使用

标签：enc zha ascii UNC top decode zhang nta urlencode

原文地址：https://www.cnblogs.com/wbytts/p/12231738.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行