码迷,mamicode.com
首页 > Web开发 > 详细

Urllib库

时间:2018-09-29 21:35:40      阅读:220      评论:0      收藏:0      [点我收藏+]

标签:读取   类型   爬虫   响应   util   练习   获取   tps   分享图片   

urllib是一个包,这个包收集了几个用于处理URLs的模块

urllib.request      用于打开和读取URLs
urllib.error        用于触发请求的异常
urllib.parse        用于分析URLs
urllib.robotparser  用于分析robots.txt格式的文件

 

 

 

 

 

 URLOPEN练习

技术分享图片
import urllib.request

response = urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode("utf-8"))
第一个爬虫
技术分享图片
import urllib.request
import urllib.parse

data = bytes(urllib.parse.urlencode({"word":"hello"}),encoding="utf8")
response = urllib.request.urlopen("http://httpbin.org/post",data=data)
print(response.read())
POST请求
技术分享图片
import urllib.request

response = urllib.request.urlopen("http://httpbin.org/get",timeout=1)
print(response.read())
简单超时
技术分享图片
import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen("http://httpbin.org/get",timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason,socket.timeout):
        print("TIME OUT")
简单的异常

 

 响应练习

 

技术分享图片
import urllib.request

response = urllib.request.urlopen("https://www.python.org")
print(type(response))
响应类型
技术分享图片
import urllib.request

response = urllib.request.urlopen("https://www.python.org")
print(response.status)
print(response.getheaders())
print(response.getheader("Server"))
获取状态码响应头
技术分享图片
import urllib.request

request = urllib.request.Request("https://www.python.org")
response = urllib.request.urlopen(request)
print(response.read().decode("utf-8"))
得到响应内容

 

 

Urllib库

标签:读取   类型   爬虫   响应   util   练习   获取   tps   分享图片   

原文地址:https://www.cnblogs.com/cangshuchirou/p/9726499.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!