码迷,mamicode.com
首页 > 编程语言 > 详细

单线程多任务异步协程

时间:2019-10-22 13:07:45      阅读:124      评论:0      收藏:0      [点我收藏+]

标签:请求   www   port   定义   内部实现   返回值   创建   块代码   pos   

目录

  1. 概念讲解

  2. 多任务异步协程理解

  3.基于aiohttp模块异步网络请求实现数据爬取及数据解析

 

一、需要了解的概念

  特殊函数:如果async修饰了一个函数的定义,那么该函数就变成了一个特殊函数,

    特殊之处:特殊函数被调用后函数内部实现语句不会被立即执行 

    该函数调用之后会返回一个协程对象   

  协程对象:特殊函数调用后可以返回一个协程对象

    协程 == 特殊函数

  任务对象:对协程对象的进一步封装,就是一个高级协程对象

    任务对象 == 协程对象 == 特殊的函数

    绑定回调:task.add_done_callback(parse) #parse就是一个回调函数

      parse的定义:

        parse必须又一个参数,该参数表示的就是回调函数对应的任务对象

        task.result(): 就是特殊函数的的返回值

  事件循环对象:可以让特殊函数内部的语句执行

    该对象内部必须注册的是任务对象,当事件循环开启后其内部注册的任务对象就可以基于异步被执行

  ps: 在特殊函数每部不可以出现不支持异步代码对应的模块

 

定义如下:

import asyncio
import time

urls = [
    http://127.0.0.1:5000/jay,
    http://127.0.0.1:5000/tom,
    http://127.0.0.1:5000/jay,
    http://127.0.0.1:5000/tom,
]

# 特殊函数
async def get_request(url):
    print(正在请求:,url)
    time.sleep(2)
    print(请求结束;,url)
    return bobo

#对调函数
def parse(task): #task 该回调函数对应的任务对象
    print( I am callback)
    print(task.result()) #result返回的就是特殊函数的返回值

#返回了一个协程对象
c = get_request(www.1.com)

#任务对象
task = asyncio.ensure_future(c)

#给任务对象绑定回调,任务对象执行完后才能被执行
task.add_done_callback(parse)

#创建一个事件循环对象
loop = asyncio.get_event_loop()

#需要将任务对象注册到事件循环对象中且需要启动循环对象
loop.run_until_complete(task)

 

二、多任务异步协程过程理解

import asyncio
import time

urls = [
    http://127.0.0.1:5000/jay,
    http://127.0.0.1:5000/tom,
    http://127.0.0.1:5000/jay,
    http://127.0.0.1:5000/tom,
]

start = time.time()
# 特殊函数
#!!!特殊函数内部不可以出现不支持异步的模块代码,如果出现了则会中断所有的异步代码
async def get_request(url):
    print(正在请求:,url)
    #time.sleep(2)
    await asyncio.sleep(2) #await 遇到阻塞的时候需要阻塞然后再走后续代码
    print(请求结束;,url)
    return bobo

#任务列表
tasks = []

for url in urls:
    c = get_request(url)  #执行特殊函数得到一个协程对象
    task = asyncio.ensure_future(c) #获取任务对象
    tasks.append(task)

#一个任务对象和另一个任务对象所对应的代码是异步的
#某一个对象内部的代码是串行的


# 注册的任务对象 事件循环开启 loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks)) #此处的wait当任务对象遇到阻塞的时候允许挂起,把cpu的使用权交出来 print(耗时,time.time()-start)

 

三、基于aiohttp模块异步网络请求实现数据爬取及数据解析 

1. aiphttp模块使用详解

pip install aiohttp 编码: 基本架构: with aiohttp.ClientSession() as s:
#s就是一个请求对象 with s.get(url) as response: page_text = response.text() #read() ==> content json没变 return page_text 补充细节 在每个with前加async 在每个阻塞前加await async with aiohttp.ClientSession() as s: #s就是一个请求对象 async with await s.get(url) as response: page_text = await response.text() #read() ==> content json没变 return page_text

2.aioihttp使用案列及说明及数据解析

import asyncio
import time
import requests
import aiohttp
from lxml import etree
urls = [
    http://127.0.0.1:5000/jay,
    http://127.0.0.1:5000/tom,
    http://127.0.0.1:5000/jay,
    http://127.0.0.1:5000/tom,
]

start = time.time()
# 特殊函数
#!!!特殊函数内部不可以出现不支持异步的模块代码,如果出现了则会中断所有的异步代码
async def get_request(url):
    #requests模块是不支持异步的
    # page_text = requests.get(url).text
    # return page_text
    async with aiohttp.ClientSession() as s: #s就是一个请求对象
        async with await s.get(url) as response: #get/post(url,data/parms,headers,proxy=‘http://ip:port‘)
            page_text = await response.text() #read() ==> content json没变
            return page_text

#定义回调函数
def parse(task):
    page_text = task.result()
    tree = etree.HTML(page_text)
    print(tree.xpath(//a/text()))

#任务列表
tasks = []

for url in urls:
    c = get_request(url)
    task = asyncio.ensure_future(c)
    #绑定回调用于数据解析
    task.add_done_callback(parse)
    tasks.append(task)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(耗时,time.time()-start)

 

单线程多任务异步协程

标签:请求   www   port   定义   内部实现   返回值   创建   块代码   pos   

原文地址:https://www.cnblogs.com/guniang/p/11718937.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!