动态HTMl处理

标签：重复   获取数据   页游   自动化   foo   att   .exe   attribute   int   

后续爬虫代码的建议

尽量减少请求次数
1. 能抓列表页就不抓详情页
2. 保存获取的html页面，供差错和重复请求使用
关注网站的所有类型的页面
1. wap页面，触屏版页面
2. H5页面
3. APP
多伪装
1. 动态的UA
2. 代理ip
3. 不使用cookie
利用多线程分布式
在不被ban的请求下尽可能的提高速度

动态HTML技术的了解

js

网络上最常用脚本语言。它可以收集用户的跟踪数据，不需要重载页面直接提交表单，在页面嵌入多媒体文件，甚至运行网页游戏

jQuery

jQuery是一个快速、简洁的JavaScript框架，封装了JavaScript常用的功能代码

Ajax

AJAX可以使网页实现异步更新，可以在不重新加载整个网页的情况下，对网页某部分进行更新

Selenium和PhantomJS

• Selenium
  selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏

• PhantomJS
  PhantomJS是一个基于Webkit的“无界面”（headless）浏览器，它会把网站加载到内存并且执行页面上的javaScript

http://selenium-python-zh.readthedocs.io/en/latest/waits.html

Selenium和PhantomJS入门

1. 加载网页：

• from selenium import webdriver
• driver = webdriver.PhantomJS("c:...//pantomjs.exe")
• driver.get("http://www.baidu.com/")
• driver.save_screenshot("长城.png")

1. 定位和操作

• driver.find_element_by_id("kw").send_keys("长城")
• driver.find_element_by_id("su").click()

1. 查看请求信息：

• driver.page_source
• driver.get_cookies()
• driver.current_url

1. 退出

• driver.close() # 退出当前页面
• driver.quit() # 退出浏览器

页面元素定位

• 用法：
  • find_element_by_id(返回一个)
  • find_elements_by_xpath(返回一个列表)
  • find_elements_by_link_text
  • find_elements_by_partial_link_text
  • find_elements_by_tag_name
  • find_elements_by_class_name
  • find_elements_by_css_selector
• 注意点
  1. find_element和find_elements的区别：返回一个和返回一个列表
  2. by_link_text和by_partial_link_text的区别：全部文本和包含某个文本
  3. by_css_selector的用法：#food span.dairy.aged
  4. by_xpath中获取的属性和文本需要使用个体——attribute()和.text
  5. 在判断是否有下一页的时候，使用find_elements来根据结果的列表长度来判断
  6. 如果页面中含有iframe、frame，需要先调用driver.switch_to.frame方法切换frame中才能定位元素
  7. selenium请求第一页的时候会等待页面加载完了之后在获取数据，但是在点击翻页之后，hi直接获取数据，此时可能会报错，因为数据还没有加载出来，需要time.sleep(3)

操作表单元素

1. 操作输入框：分为两步。第一步：找到这个元素。第二步：使用send_keys(value)，将数据填充进去。示例代码如下：

inputTag = driver.find_element_by_id(‘kw‘)
inputTag.send_keys(‘python‘)

使用clear方法可以清除输入框中的内容。示例代码如下：

inpputTag.clear()

1. 操作checkbox：因为要选中checkbox标签，在网页中是通过鼠标点击的。因此要想选中checkbox标签，那么先选中这个标签，然后执行click事件。示例代码如下：

renrenTag = driver.find_element_by_name("rememberMe")
rememberTag.click()

1. 选择select：select元素不能直接点击。因此点击后还需要选中元素。这时候selenium就专门为select标签提供了一个类selenium.webdriver.support.ui.Select。将获取到的元素当成参数传到这个类中，创建这个对象。以后就可以使用这个对象进行选择了。示例代码如下：

from selenium.webdriver.support.ui import Select
# 选中这个标签，然后使用Select创建的对象
selectTag = Select(driver.find_element_by_name("jumpMenu"))
# 根据索引选择
selectTag.select_by_index(1)
# 根据值选择
selectTag.select_by_value("http://www.95yueba.com")
# 根据可视文本选择
selectTag.select_by_visible_text("95客服端")
# 取消选中所有选项
selectTag.deselect_all()

1. 操作按钮：操作按钮有很多种方式。比如单击、右击、双击等。这里讲一个最常用的。就是点击。直接调用click函数就可以了。示例代码如下：

inputTag = driver.find_element_by_id(‘su‘)
inputTag.click

行为链

有时候在页面中的操作可能要有很多步，那么这时候可以使用鼠标行为链类ActionChains来完成。比如现在要将鼠标移动到某个元素上并执行点击事件。那么示例代码如下：

inputTag = driver.find_element_by_id(‘kw‘)
submitTag = driver.find_element_by_id(‘su‘)

actions = ActionsChains(diver)
actions.move_to_element(inputTag)
actions.send_keys_to_element(inputTag, ‘python‘)
actions.move_to_element(sumitTag)
actions.perform()

还有更多的鼠标相关的操作。

• click_and_hold(element)：点击但不松开鼠标。
• context_click(element)：右键点击。
• double_click(element)：双击。
  更多方法请参考：http://selenium.python.readthedocs.io/api.html

Cookie操作：

1. 获取所有的cookie：

for cookie in driver.get_cookies():
    print(cookie)

1. 根据cookie的key获取value：

value = driver.get_cookie(key)

1. 删除所有的cookie：

driver.delete_all_cookies()

1. 删除某个cookie：

driver.delete_cookie(key)

页面等待：

现在的网页越来越多采用了Ajax技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。为了解决这个问题。所以Selenium提供了两种等待方式：一种是隐式等待、一种是显式等待。

1. 隐式等待：调用driver.implicitly_wait。那么在获取不可用的元素之前，会先等待10秒中的时间。示例代码如下：

driver = webdriver.Chrome(executable_path=driver_path)
driver = implicitly_wait(10)
# 请求网页
driver.get("https://www.douban.com/")

1. 显示等待：显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。示例代码如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

1. 一些其他的等待条件：

• presence_of_element_located：某个元素已经加载完毕了。
• presence_of_all_element_located：网页中所有满足条件的元素都加载完毕了。
• element_to_be_cliable：某个元素是可以点击了。
  更多条件请参考：http://selenium-python.readhedocs.io/waits.html

切换页面：

有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做swith_to_window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到。示例代码如下：

# 打开一个新页面
self.driver.execute_script(‘window.open("+url+")‘‘)
# 切换到这个新的页面中
self.driver.swith_to_window(self.driver.window_handles[1])

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

WebElement元素：

from selenium.webdriver.remote.webelement import WebElement类是每个获取出来的元素的所属类。
有一些常用的属性：

1. get_attribute：这个标签的某个属性的值。
2. screetshot：获取当前页面的截图。这个方法只能在driver上使用。
   driver的对象类，也是继承WebElement
   更多请阅读相关源代码。

设置代理ip：

有时候频繁爬取一些网页。服务器发现你是爬虫后会封掉你的ip地址。这时候我们可以更改代理ip。更改代理ip，不同的浏览器有不同的实现方式。这里有chrome浏览器为例来讲解：

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://110.73.2.248:8132")

driver_path = r"D:\ProgramApp\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path, chrome_options=options)

driver.get("http://httpbin.org/ip")

动态HTMl处理

标签：重复   获取数据   页游   自动化   foo   att   .exe   attribute   int   

原文地址：https://www.cnblogs.com/colden/p/9859126.html