码迷,mamicode.com
首页 > 编程语言 > 详细

python * urllib_urlopen( )

时间:2018-04-13 11:10:23      阅读:182      评论:0      收藏:0      [点我收藏+]

标签:接口   byte   实验   odi   ret   自定义表单   ppi   指定   eth   

python * urllib_urlopen( )

Python urllib 库提供了一个从指定的 URL 地址获取网页数据,然后对其进行分析处理,获取想要的数据。

一、urllib模块urlopen()函数:

urlopen(url, data=None, timeout, proxies=None,context=None)

  • 创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。
  • 参数url表示远程数据的路径,一般是网址,也可以是一个urllib.request对象。
  • 参数data默认是None,此时以GET方式发送请求;当用户给出data参数的时候,改为POST方式发送请求。

  • HTTP是python中实现的众多网络通信http、https、ftp等协议中,唯一使用data 参数的,也就是说只有打开的是http网址的时候,自定义data参数才会有作用 。
  • data必须是一个字节数据对象(Python的bytes object)
  • data必须符合标准格式,使用urllib.parse.urlencode()将自定义的data转换成标准格式;而这个函数所能接收的参数类型是pyhon中的mapping object(键/值对,如dict) or a sequence of two-element tuples(元素是tuple的列表)。
  • timeout是设置超时时间。
  • 参数proxies用于设置代理。
  • context参数:实现SSL加密传输。

urlopen返回 一个类文件对象(fd),它提供了如下方法:
read() , readline() , readlines() , fileno() , close() :这些方法的使用方式与文件对象完全一样;
info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息(header)
getcode():返回Http状态码。如果是http请求,200表示请求成功完成;404表示网址未找到;
geturl():返回请求的url;

二、实验 ①

1、打开一个网页获取所有内容

‘‘‘ urlopen是一个类,res相当于它的一个实例
class request(self,url,data)
       self.url = url
       self.data = data
res = request(‘http://baidu.com‘,‘data‘)
‘‘‘ 

# 其实res相当于‘类urlopen‘的一个实例,给它传入‘baidu.com‘等参数的过程就是实例化  
from urllib.request import urlopen
res = urlopen("http://www.baidu.com")
doc = res.read()
print(doc)

#另一种书写格式
import urllib.request
res = urllib.request.urlopen(‘http://www.baidu.com‘)
doc = res.read()
print(doc)

2、获取http头部(头中有编码格式信息)

from urllib.request import urlopen
res = urlopen("http://www.baidu.com")

#返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息
print(res.info())

# 请求头部
print(res.getheader(‘Content-Type‘))

# 返回请求的url地址
print(res.geturl())

# 返回Http状态码.如果是http请求,200=请求成功完成;404=网址未找到
print(res.getcode())

3、调用接口,并处理返回值json

from urllib.request import urlopen

def start_pack(real_match):

    for x in real_match.keys():
        start_url = ‘http://www.google.com/start.do?ips=%s&versionId=%s&operator=dw_%s % (",".join(real_match[x]), x,os.getlogin())
        start_html = urllib2.urlopen(start_url)
        start_json = json.loads(start_html.read())

        task_url = ‘http://www.google.com/TaskId.do?task_id=%s % start_json[‘object‘][‘taskId‘]
        task_html = urllib2.urlopen(task_url)
        task_json = json.loads(task_html.read())

        if start_json[‘code‘] == 0:
        print "package %s start succees!" % task_json[‘object‘][0][‘package_name‘]
        else:
        print "package %s start error!" % task_json[‘object‘][0][‘package_name‘]

        start_html.close()
        task_html.close()

实验②


#coding=utf-8
#Python3.4.3   OS:W7-32

‘‘‘利用有道翻译进行在线翻译‘‘‘

import urllib.request
import urllib.parse
import json

def traslate(words):
    # 目标URL
    targetURL = ‘http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null‘
    # 自定义表单,words表示的是用户要翻译的内容。这里使用的是dict类型,也可以使用元组列表(已经试过的)。
    data = {}
    data[‘type‘] = ‘AUTO‘
    data[‘i‘] = words
    data[‘doctype‘] = ‘json‘
    data[‘xmlVersion‘] = ‘1.8‘
    data[‘keyfrom‘] = ‘fanyi.web‘
    data[‘ue‘] = ‘UTF-8‘
    data[‘action‘] = ‘FY_BY_CLICKBUTTON‘
    data[‘typoResult‘] = ‘true‘

    # 将自定义data转换成标准格式
    data = urllib.parse.urlencode(data).encode(‘utf-8‘)

    # 发送用户请求
    html = urllib.request.urlopen(targetURL, data)

    # 读取并解码内容
    rst = html.read().decode("utf-8")
    rst_dict = json.loads(rst)

    return rst_dict[‘translateResult‘][0][0][‘tgt‘]

if __name__ == "__main__":
    print("输入字母q表示退出")
    while True:
        words = input("请输入要查询的单词或句子:\n")
        if words == ‘q‘:
            break
        result = traslate(words)
        print("翻译结果是:%s"%result)
       

python * urllib_urlopen( )

标签:接口   byte   实验   odi   ret   自定义表单   ppi   指定   eth   

原文地址:https://www.cnblogs.com/deepblue775737449/p/8817951.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!