python爬虫3——获取审查元素(板野友美吧图片下载)

标签：

测试环境：python2.7 + beautifulsoup4.4.1 + selenium2.48.0

测试网址：http://tieba.baidu.com/p/2827883128

目的是下载该网页下所有图片，共160+张。可以分为以下几步：

1、获取网页源代码。

发现直接通过urllib2或者request获取到的源代码和实际图片对应不起来，通过chrome审查元素功能可以查询到对应的图片，猜测是该页面的图片加载是通过ajax异步传输的。因此使用工具selenium + chromedriver实现。安装好selenium+chromedriver之后，即可获取到需要的源代码。

2、分析获取到的源代码，找出图片的实际地址然后下载。过程与python爬虫2——下载文件类似。之前分析源码都是直接通过正则表达式实现，建议学习下beautifulsoup(现在就去)，更方便。

实际程序运行后发现，只能获取到40张图片。原因是页面加载完成后，只有40张图片。如果需要获取全部图片，需要在页面加载完成之前，手动往下滑动滚轮，之后浏览器继续发送ajax请求给服务器，获取其他的图片。该方法实际测试可行，可以获取全部图片。

但是！手动操作这种方法太low了！以下是我的猜想：1、是否可以直接通过分析源代码中的js部分，直接提取出所有向后台服务器发送ajax请求的代码，一次性发送出去从而得到所有图片的地址？ 2、是否可以通过js或者selenium，在加载页面的时间段，模拟滚轮动作，从而实现功能。方法2我实际测试了下，由于水平有限，不熟悉js，没有成功。附代码：

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
url = "http://tieba.baidu.com/p/2827883128"
driver.get(url)
try:
    # driver.implicitly_wait(20)
    # driver.find_element_by_id("ag_main_bottombar")
    # js="var q=document.body.scrollTop=10000"
    # driver.execute_script(js)
    sourcePage = driver.page_source
    soup = BeautifulSoup(sourcePage, "lxml")
    images = soup.find_all(class_ = "ag_ele_a ag_ele_a_v")
    print(len(images))
    for image in images:
        print(image)
finally:
    # pass
    driver.quit()

python爬虫3——获取审查元素(板野友美吧图片下载)

标签：

原文地址：http://www.cnblogs.com/ponpon7/p/5023699.html