Python爬虫框架Scrapy 学习笔记 9 ----selenium

标签：scrapy

selenium本是用来对web application做自动化测试的。不过，它有个天大的好处：能让我们用python(当然不仅是python)代码模拟人对浏览器的操作。

所需软件：python2.7 , firefox 25.0.1(版本不能太高), selenium2.44.0(使用pip install selenium安装即可)

1. 打开浏览器，请求百度主页，5秒钟后关闭浏览器

from selenium import webdriver
import  time
brower = webdriver.Firefox()
brower.get(‘http://www.baidu.com‘)
time.sleep(5)
brower.close()

注意 url的写法，前面必须加 http://

2. 打开浏览器，请求一个带有动态内容的网页，等待js执行完毕（10秒钟足够），获取当前浏览器render的内容的源码，关闭浏览器

from selenium import webdriver
import  time
browser = webdriver.Firefox()
browser.get(‘http://detail.tmall.com/item.htm?id=12577759834 ‘)
time.sleep(10)
pageSource = browser.page_source
print pageSource
browser.close()

Python爬虫框架Scrapy 学习笔记 9 ----selenium

标签：scrapy

原文地址：http://dingbo.blog.51cto.com/8808323/1602185