码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫第四天--概念

时间:2020-01-07 13:32:30      阅读:88      评论:0      收藏:0      [点我收藏+]

标签:response   任务   多任务   one   pos   uri   proxy   必须   read   

  • 线程池

    • 导包:from multiprocessing.dummy import Pool
    • pool.map(callback,alist)
      • 让callback可以异步将alist中的列表元素进行某种形式的操作
      • 注意事项:callback必须要有一个参数、
    • 主要是被应用在耗时的操作
  • 单线程+多任务的异步协程

    • 特殊函数

      • 如果一个函数的定义被async关键字修饰后,则该函数就是一个特殊的函数。
      • 特殊之处:
        • 该函数被调用后函数内部的实现语句不会被立即执行。
        • 该函数会返回一个协程对象
    • 协程:

      • 对象。当特殊的函数被调用后,该函数就会返回一个协程对象。
      • 协程对象 == 特殊函数
    • 任务对象

      • 就是对协程对象的进一步封装(就是一个高级的协程对象)
      • 任务对象==协程对象==特殊函数
      • 绑定回调:
        • task.add_done_callback(funcName)
        • funName这个回调函数必须要带一个参数,这个参数表示的就是当前的任务对象
          • 参数.result():表示的就是当前任务对象对应的特殊函数的返回值
    • 事件循环对象:

      • 创建事件循环对象
        • asyncio.get_event_loop()
      • 需要将任务对象注册到该事件循环对象中且启动事件循环
        • loop.run_until_complete(task)
    • 等待(await):当阻塞操作结束后让loop回头执行阻塞之后的代码

    • 挂起(wait()):将当前的任务对象交出cpu的使用权

    • 【重点注意事项】:

      • 在特殊函数实现内部不可以出现不支持异步的模块代码,否则会中断整个的异步效果
    • aiohttp:

      • requests不支持异步,不可以出现在特殊函数内部。

      • aiohttp:支持异步的网络请求模块

        • pip install aiohttp
      • 代码的编写:

        • 写出基本架构
          with aiohttp.ClientSession() as sess:
          #with sess.get/post(url=url,headers=headers,data/params,proxy="http://ip:port") as response:
          with sess.get(url=url) as response:
          #text():获取字符串形式的响应数据
          #read():获取bytes类型的响应数据
          page_text = response.text()

                  return page_text
        • 补充细节

          • 在每一个with前加上async
          • 在每一个阻塞操作前加上await关键字
            • 代码参照完整代码
      • 完整代码:
        async with aiohttp.ClientSession() as sess:
        #with sess.get/post(url=url,headers=headers,data/params,proxy="http://ip:port") as response:
        async with await sess.get(url=url) as response:
        #text():获取字符串形式的响应数据
        #read():获取bytes类型的响应数据
        page_text = await response.text()

         return page_text
  • 解析到带html标签的文本内容
    • bs4

爬虫第四天--概念

标签:response   任务   多任务   one   pos   uri   proxy   必须   read   

原文地址:https://www.cnblogs.com/bky20061005/p/12160815.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!