码迷,mamicode.com
首页 > 其他好文 > 详细

pyppeteer入门

时间:2019-09-27 22:51:46      阅读:122      评论:0      收藏:0      [点我收藏+]

标签:col   htm   import   from   complete   done   pre   syn   http   

import asyncio
from pyppeteer import launch
from lxml import etree

async def main():
    bro=await launch(headless=False)
    page=await bro.newPage()
    await page.goto(http://quotes.toscrape.com/)
    page_text=await page.content()
    return page_text
def parse(tasks):
    page_text=tasks.result()
    tree=etree.HTML(page_text)
    div_list=tree.xpath(/html/body/div/div[2]/div[1]/div)
    for element in div_list:
        content=element.xpath(.//span/text())
        print(content)

c=main()
tasks=asyncio.ensure_future(c)
tasks.add_done_callback(parse)
loop=asyncio.get_event_loop()
loop.run_until_complete(tasks)

pyppteer用于抓取网页中动态加载的内容,也可以用于模拟登陆

pyppeteer入门

标签:col   htm   import   from   complete   done   pre   syn   http   

原文地址:https://www.cnblogs.com/edanlee/p/11600629.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!