码迷,mamicode.com
首页 > 其他好文 > 详细

selenium模块

时间:2018-10-30 21:14:43      阅读:195      评论:0      收藏:0      [点我收藏+]

标签:blank   .text   网站   blog   mod   dismiss   open   port   bsp   

一,案例

爬取站长素材中的图片:http://sc.chinaz.com/tupian/gudianmeinvtupian.html

技术分享图片
import requests
from lxml import etree
import os
url = "http://sc.chinaz.com/tupian/gudianmeinvtupian.html"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36"
}
if not os.path.exists("zz_img"):
    os.mkdir("zz_img")

def get_img(url):
    img_content = requests.get(url=url, headers=headers).content
    return img_content
    
    
page_text = requests.get(url=url, headers=headers).text

tree = etree.HTML(page_text)

img_url_list = tree.xpath("//*[@id=‘container‘]/div/div/a/img/@src")  # 注意图片懒加载 src为src2
# print(img_url_list)

for img_url in img_url_list:
    img_content = get_img(img_url)
    img_name = img_url.split("/")[-1]
    with open("zz_img/"+ img_name, "wb") as f:
        f.write(img_content)
        print(img_name + "下载完成")
错误操作
技术分享图片
import requests
from lxml import etree
import os
url = "http://sc.chinaz.com/tupian/gudianmeinvtupian.html"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36"
}
if not os.path.exists("zz_img"):
    os.mkdir("zz_img")

def get_img(url):
    img_content = requests.get(url=url, headers=headers).content
    return img_content
    
    
page_text = requests.get(url=url, headers=headers).text

tree = etree.HTML(page_text)

img_url_list = tree.xpath("//*[@id=‘container‘]/div/div/a/img/@src2")  # 注意图片懒加载 src为src2
# print(img_url_list)

for img_url in img_url_list:
    img_content = get_img(img_url)
    img_name = img_url.split("/")[-1]
    with open("zz_img/"+ img_name, "wb") as f:
        f.write(img_content)
        print(img_name + "下载完成")
正确操作

二着的差别就是在于获取图片的src时,使用的属性名称;

这就是Web中常用的 动态数据加载处理技术之图片懒加载技术;

  • 图片懒加载概念:

    • 图片懒加载是一种网页优化技术。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面的首屏加载时间。为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏图片请求数的技术就被称为“图片懒加载”。

  • 网站一般如何实现图片懒加载技术呢?

    • 在网页源码中,在img标签中首先会使用一个“伪属性”(通常使用src2,original......)去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中,会动态将伪属性替换成src属性,完成图片的加载。

  • 站长素材案例后续分析:通过细致观察页面的结构后发现,网页中图片的链接是存储在了src2这个伪属性中

二,selenium介绍

selenium是Python的一个第三方库,对外提供的接口可以操作浏览器,然后让浏览器完成自动化的操作。selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。

selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器

from selenium import webdriver
browser=webdriver.Chrome()
browser=webdriver.Firefox()
browser=webdriver.PhantomJS()
browser=webdriver.Safari()
browser=webdriver.Edge()

官网:http://selenium-python.readthedocs.io

三,安装

pip install selenium

1,操作有界面的浏览器

首先获取某一款浏览器的驱动程序

  • 谷歌浏览器驱动下载地址:http://chromedriver.storage.googleapis.com/index.html

  • 下载的驱动程序必须和浏览器的版本统一,大家可以根据http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应

#安装:selenium+chromedriver
pip3 install selenium
下载chromdriver.exe放到python安装路径的scripts目录中即可,注意最新版本是2.38,并非2.9
国内镜像网站地址:http://npm.taobao.org/mirrors/chromedriver/2.38/
最新的版本去官网找:https://sites.google.com/a/chromium.org/chromedriver/downloads

#验证安装
C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> driver=webdriver.Chrome() #弹出浏览器
>>> driver.get(https://www.baidu.com)
>>> driver.page_source

#注意:
selenium3默认支持的webdriver是Firfox,而Firefox需要安装geckodriver
下载链接:https://github.com/mozilla/geckodriver/releases

selenium+chromedriver

代码演示:

#导包
from selenium import webdriver  
#创建浏览器对象,通过该对象可以操作浏览器
browser = webdriver.Chrome(驱动路径)
#使用浏览器发起指定请求
browser.get(url)

#使用下面的方法,查找指定的元素进行操作即可
    find_element_by_id            根据id找节点
    find_elements_by_name         根据name找
    find_elements_by_xpath        根据xpath查找
    find_elements_by_tag_name     根据标签名找
    find_elements_by_class_name   根据class名字查找
from selenium import webdriver
import time
#  实例化一个浏览器对象
b = webdriver.Chrome(r"D:\python视频\Crawler\资料\谷歌驱动程序\chromedriver.exe")

url = "https://www.baidu.com"
#  根据指定url,发起一个请求
b.get(url=url)
time.sleep(3)  # 睡三秒,等待浏览器响应

#  根据指定的接口定位到指定的控件
inp_tag = b.find_element_by_id("kw")  # 找到id为"kw"的标签
inp_tag.send_keys("美女")  # 给该input标签输入内容 "美女"

button_tag = b.find_element_by_id("su")  # 找到id为"su"的标签
button_tag.click()  # 点击该标签

time.sleep(5)
b.quit()  # 5秒后关闭浏览器
#  b.close() # 切记关闭浏览器,回收资源, 加上这句话报错?????

更多操作:

技术分享图片
from selenium import webdriver
from time import sleep

# 后面是你的浏览器驱动位置,记得前面加r‘‘,‘r‘是防止字符转义的
driver = webdriver.Chrome(r驱动程序路径)
# 用get打开百度页面
driver.get("http://www.baidu.com")
# 查找页面的“设置”选项,并进行点击
driver.find_elements_by_link_text(设置)[0].click()
sleep(2)
# # 打开设置后找到“搜索设置”选项,设置为每页显示50条
driver.find_elements_by_link_text(搜索设置)[0].click()
sleep(2)

# 选中每页显示50条
m = driver.find_element_by_id(nr)
sleep(2)
m.find_element_by_xpath(//*[@id="nr"]/option[3]).click()
m.find_element_by_xpath(.//option[3]).click()
sleep(2)

# 点击保存设置
driver.find_elements_by_class_name("prefpanelgo")[0].click()
sleep(2)

# 处理弹出的警告页面   确定accept() 和 取消dismiss()
driver.switch_to_alert().accept()
sleep(2)
# 找到百度的输入框,并输入 美女
driver.find_element_by_id(kw).send_keys(美女)
sleep(2)
# 点击搜索按钮
driver.find_element_by_id(su).click()
sleep(2)
# 在打开的页面中找到“Selenium - 开源中国社区”,并打开这个页面
driver.find_elements_by_link_text(美女_百度图片)[0].click()
sleep(3)

# 关闭浏览器
driver.quit()
更多操作

2,操作无界面的浏览器

  • PhantomJS是一款无界面的浏览器,其自动化操作流程和上述操作谷歌浏览器是一致的。由于是无界面的,为了能够展示自动化操作流程,PhantomJS为用户提供了一个截屏的功能,使用save_screenshot函数实现。
#安装:selenium+phantomjs
pip3 install selenium
下载phantomjs,解压后把phantomjs.exe所在的bin目录放到环境变量
下载链接:http://phantomjs.org/download.html

#验证安装
C:\Users\Administrator>phantomjs
phantomjs> console.log(egon gaga)
egon gaga
undefined
phantomjs> ^C
C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> driver=webdriver.PhantomJS() #无界面浏览器
>>> driver.get(https://www.baidu.com)
>>> driver.page_source

代码演示:

from selenium import webdriver
import time
#  实例化一个浏览器对象
b = webdriver.PhantomJS(r"D:\python视频\Crawler\资料\phantomjs-2.1.1-windows\bin\phantomjs.exe")

url = "https://www.baidu.com"
#  根据指定url,发起一个请求
b.get(url=url)
time.sleep(3)  # 睡三秒,等待浏览器响应
b.save_screenshot("1.png")  # 打开百度之后,截张图供我们看

inp_tag = b.find_element_by_id("kw")
inp_tag.send_keys("嘿咻")
b.save_screenshot("2.png")

button_tag = b.find_element_by_id("su")
button_tag.click()
time.sleep(5)
b.save_screenshot("3.png")

b.quit()

在 PhantomJS 年久失修, 后继无人的节骨眼 
Chrome 出来救场, 再次成为了反爬虫 Team 的噩梦

自Google 发布 chrome 59 / 60 正式版 开始便支持Headless mode 

这意味着在无 GUI 环境下, PhantomJS 不再是唯一选择 

谷歌无头浏览器:

技术分享图片
#selenium:3.12.0
#webdriver:2.38
#chrome.exe: 65.0.3325.181(正式版本) (32 位)

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument(window-size=1920x3000) #指定浏览器分辨率
chrome_options.add_argument(--disable-gpu) #谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument(--hide-scrollbars) #隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument(blink-settings=imagesEnabled=false) #不加载图片, 提升速度
chrome_options.add_argument(--headless) #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败
chrome_options.binary_location = r"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" #手动指定使用的浏览器位置


driver=webdriver.Chrome(chrome_options=chrome_options)
driver.get(https://www.baidu.com)

print(hao123 in driver.page_source)


driver.close() #切记关闭浏览器,回收资源
selenium+谷歌浏览器headless模式

四,利用selenium爬取懒加载页面数据

需求: 尽可能多的爬取豆瓣网中的电影信息

from selenium import webdriver
from lxml import etree
import time
import json
#  实例化一个浏览器对象
b = webdriver.PhantomJS(executable_path=r"D:\python视频\Crawler\资料\phantomjs-2.1.1-windows\bin\phantomjs.exe")

url = "https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action="
b.get(url=url)
time.sleep(2)

#让浏览器执行js代码
for i in range(5):
    js = "window.scrollTo(0,document.body.scrollHeight)"  # 讲浏览器滚轮滚到最低端
    b.execute_script(js)
    time.sleep(1)

    
#  page_source可以获取浏览器当前的页面源码
page_text = b.page_source
b.save_screenshot("666.png")
tree = etree.HTML(page_text)
div_list = tree.xpath("//*[@id=‘content‘]/div/div[1]/div[6]/div")  # 列表

move_content = []
for div in div_list:
    move_id = div.xpath("./div/div/div[1]/span[@class=‘rank-num‘]/text()")[0]
    move_name = div.xpath("./div/div/div[1]/span[1]/a/text()")[0]
    movie_crew_tag = div.xpath("./div/div/div[@class=‘movie-crew‘]/text()")
    if movie_crew_tag:
        movie_crew = movie_crew_tag[0]
    else:
        movie_crew = ""
    movie_misc = div.xpath("./div/div/div[@class=‘movie-misc‘]/text()")[0]
    movie_rating = div.xpath("./div/div/div[@class=‘movie-rating‘]//text()")[0]
    move_info = {
        "move_id": move_id,
        "move_name": move_name,
        "movie_crew": movie_crew,
        "movie_misc": movie_misc,
        "movie_rating": movie_rating
    }
    move_content.append(move_info)
    print(move_name + "下载完毕")

f = open("move.html", "w", encoding="utf-8")
json.dump(move_content,f, ensure_ascii=False)
f.close()

 

selenium模块

标签:blank   .text   网站   blog   mod   dismiss   open   port   bsp   

原文地址:https://www.cnblogs.com/glh-ty/p/9879067.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!