码迷,mamicode.com
首页 > Web开发 > 详细

(1)selenium动态网页与请求

时间:2018-07-14 16:27:18      阅读:167      评论:0      收藏:0      [点我收藏+]

标签:lower   passwd   世界杯   pre   oct   int   use   https   element   

from selenium import webdriver

# 必须下载driver
browser = webdriver.Chrome(executable_path="D:\chromedriver_win32\chromedriver.exe")

# 请求页面
browser.get("https://www.bilibili.com/")

# 请求的内容都会存在browser.page_source里面
# 打印前100个字符
print(browser.page_source[:100])
‘‘‘
<!DOCTYPE html><html xmlns="http://www.w3.org/1999/xhtml" lang="zh-Hans"><head><meta charset="utf-8"
‘‘‘

  

from selenium import webdriver
from scrapy.selector import Selector

browser = webdriver.Chrome(executable_path="D:\chromedriver_win32\chromedriver.exe")

browser.get("https://www.bilibili.com/")

# Selector是一个类,要将html文本传进去,实例化之后才能调用xpath方法
titles = Selector(text=browser.page_source).xpath(‘//a[@target="_blank"]/@title‘).extract()

for title in titles:
    print(title)

‘‘‘

画友
来探索bilibili音乐的世界吧~
游戏中心
直播
会员购
BWORLD
萌战
世界杯
下载APP
干杯,世界杯!2
【洛天依原创曲】小城书院【天依6周年生日快乐~】
【老E】时隔两年半的更新 GBA PART.08
【窃格瓦拉&面筋哥】BBoom BBoom
【洛天依中心手书】天依的幸福理论【2018洛天依生诞祭】
[中文字幕] 8.32 / *Luna feat.flower
【泛式】姐姐非要看我发育正不正常!7月新番大吐槽第一弹!「新番妙妙屋07」
国人真有才,动漫角色谐音梗都有哪些?【补番教室06】
蹦蹦蹦,要和德丽莎一起睡午觉吗~hide and seek~
在线观看:4467291
‘‘‘

  

 

# 模拟登陆bilibili

from selenium import webdriver

browser = webdriver.Chrome(executable_path="D:\chromedriver_win32\chromedriver.exe")
browser.get("https://passport.bilibili.com/login")

# 语法和scrapy的xpath一样
# 找到用户名输入框,通过send_keys()发送用户名
browser.find_element_by_xpath(‘//input[@id="login-username"]‘).send_keys("18538712459")
# 找到密码输入框,这里密码隐藏了
browser.find_element_by_xpath(‘//input[@id="login-passwd"]‘).send_keys("zg2ffsaaaaahxxxx123")
# 找到登陆按钮,这里是一个a标签
browser.find_element_by_xpath(‘//a[@class="btn btn-login"]‘).click()

技术分享图片

会看到,自动帮我把账号和密码输入了

selenium本来就是模拟人的登陆

 

(1)selenium动态网页与请求

标签:lower   passwd   世界杯   pre   oct   int   use   https   element   

原文地址:https://www.cnblogs.com/traditional/p/9309613.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!