标签：blank .text 网站 blog mod dismiss open port bsp
爬取站长素材中的图片：http://sc.chinaz.com/tupian/gudianmeinvtupian.html
import requests from lxml import etree import os url = "http://sc.chinaz.com/tupian/gudianmeinvtupian.html" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36" } if not os.path.exists("zz_img"): os.mkdir("zz_img") def get_img(url): img_content = requests.get(url=url, headers=headers).content return img_content page_text = requests.get(url=url, headers=headers).text tree = etree.HTML(page_text) img_url_list = tree.xpath("//*[@id=‘container‘]/div/div/a/img/@src") # 注意图片懒加载 src为src2 # print(img_url_list) for img_url in img_url_list: img_content = get_img(img_url) img_name = img_url.split("/")[-1] with open("zz_img/"+ img_name, "wb") as f: f.write(img_content) print(img_name + "下载完成")
import requests from lxml import etree import os url = "http://sc.chinaz.com/tupian/gudianmeinvtupian.html" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36" } if not os.path.exists("zz_img"): os.mkdir("zz_img") def get_img(url): img_content = requests.get(url=url, headers=headers).content return img_content page_text = requests.get(url=url, headers=headers).text tree = etree.HTML(page_text) img_url_list = tree.xpath("//*[@id=‘container‘]/div/div/a/img/@src2") # 注意图片懒加载 src为src2 # print(img_url_list) for img_url in img_url_list: img_content = get_img(img_url) img_name = img_url.split("/")[-1] with open("zz_img/"+ img_name, "wb") as f: f.write(img_content) print(img_name + "下载完成")
二着的差别就是在于获取图片的src时，使用的属性名称；
这就是Web中常用的 动态数据加载处理技术之图片懒加载技术；
图片懒加载概念：
图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大增加页面的首屏加载时间。为了解决这种问题，通过前后端配合，使图片仅在浏览器当前视窗内出现时才加载该图片，达到减少首屏图片请求数的技术就被称为“图片懒加载”。
网站一般如何实现图片懒加载技术呢？
在网页源码中，在img标签中首先会使用一个“伪属性”（通常使用src2，original......）去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中，会动态将伪属性替换成src属性，完成图片的加载。
站长素材案例后续分析：通过细致观察页面的结构后发现，网页中图片的链接是存储在了src2这个伪属性中
selenium是Python的一个第三方库，对外提供的接口可以操作浏览器，然后让浏览器完成自动化的操作。selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。
selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器
from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdriver.PhantomJS() browser=webdriver.Safari() browser=webdriver.Edge()
官网：http://selenium-python.readthedocs.io
pip install selenium
首先获取某一款浏览器的驱动程序
谷歌浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html
下载的驱动程序必须和浏览器的版本统一，大家可以根据http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应
#安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2.38，并非2.9 国内镜像网站地址：http://npm.taobao.org/mirrors/chromedriver/2.38/ 最新的版本去官网找:https://sites.google.com/a/chromium.org/chromedriver/downloads #验证安装 C:\Users\Administrator>python3 Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> from selenium import webdriver >>> driver=webdriver.Chrome() #弹出浏览器 >>> driver.get(‘https://www.baidu.com‘) >>> driver.page_source #注意： selenium3默认支持的webdriver是Firfox，而Firefox需要安装geckodriver 下载链接：https://github.com/mozilla/geckodriver/releases selenium+chromedriver
代码演示：
#导包 from selenium import webdriver #创建浏览器对象，通过该对象可以操作浏览器 browser = webdriver.Chrome(‘驱动路径‘) #使用浏览器发起指定请求 browser.get(url) #使用下面的方法，查找指定的元素进行操作即可 find_element_by_id 根据id找节点 find_elements_by_name 根据name找 find_elements_by_xpath 根据xpath查找 find_elements_by_tag_name 根据标签名找 find_elements_by_class_name 根据class名字查找
from selenium import webdriver import time # 实例化一个浏览器对象 b = webdriver.Chrome(r"D:\python视频\Crawler\资料\谷歌驱动程序\chromedriver.exe") url = "https://www.baidu.com" # 根据指定url，发起一个请求 b.get(url=url) time.sleep(3) # 睡三秒，等待浏览器响应 # 根据指定的接口定位到指定的控件 inp_tag = b.find_element_by_id("kw") # 找到id为"kw"的标签 inp_tag.send_keys("美女") # 给该input标签输入内容 "美女" button_tag = b.find_element_by_id("su") # 找到id为"su"的标签 button_tag.click() # 点击该标签 time.sleep(5) b.quit() # 5秒后关闭浏览器 # b.close() # 切记关闭浏览器，回收资源, 加上这句话报错?????
更多操作：
from selenium import webdriver from time import sleep # 后面是你的浏览器驱动位置，记得前面加r‘‘,‘r‘是防止字符转义的 driver = webdriver.Chrome(r‘驱动程序路径‘) # 用get打开百度页面 driver.get("http://www.baidu.com") # 查找页面的“设置”选项，并进行点击 driver.find_elements_by_link_text(‘设置‘)[0].click() sleep(2) # # 打开设置后找到“搜索设置”选项，设置为每页显示50条 driver.find_elements_by_link_text(‘搜索设置‘)[0].click() sleep(2) # 选中每页显示50条 m = driver.find_element_by_id(‘nr‘) sleep(2) m.find_element_by_xpath(‘//*[@id="nr"]/option[3]‘).click() m.find_element_by_xpath(‘.//option[3]‘).click() sleep(2) # 点击保存设置 driver.find_elements_by_class_name("prefpanelgo")[0].click() sleep(2) # 处理弹出的警告页面 确定accept() 和 取消dismiss() driver.switch_to_alert().accept() sleep(2) # 找到百度的输入框，并输入 美女 driver.find_element_by_id(‘kw‘).send_keys(‘美女‘) sleep(2) # 点击搜索按钮 driver.find_element_by_id(‘su‘).click() sleep(2) # 在打开的页面中找到“Selenium - 开源中国社区”，并打开这个页面 driver.find_elements_by_link_text(‘美女_百度图片‘)[0].click() sleep(3) # 关闭浏览器 driver.quit()
#安装：selenium+phantomjs pip3 install selenium 下载phantomjs，解压后把phantomjs.exe所在的bin目录放到环境变量 下载链接：http://phantomjs.org/download.html #验证安装 C:\Users\Administrator>phantomjs phantomjs> console.log(‘egon gaga‘) egon gaga undefined phantomjs> ^C C:\Users\Administrator>python3 Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> from selenium import webdriver >>> driver=webdriver.PhantomJS() #无界面浏览器 >>> driver.get(‘https://www.baidu.com‘) >>> driver.page_source
代码演示：
from selenium import webdriver import time # 实例化一个浏览器对象 b = webdriver.PhantomJS(r"D:\python视频\Crawler\资料\phantomjs-2.1.1-windows\bin\phantomjs.exe") url = "https://www.baidu.com" # 根据指定url，发起一个请求 b.get(url=url) time.sleep(3) # 睡三秒，等待浏览器响应 b.save_screenshot("1.png") # 打开百度之后，截张图供我们看 inp_tag = b.find_element_by_id("kw") inp_tag.send_keys("嘿咻") b.save_screenshot("2.png") button_tag = b.find_element_by_id("su") button_tag.click() time.sleep(5) b.save_screenshot("3.png") b.quit()
在 PhantomJS 年久失修, 后继无人的节骨眼
Chrome 出来救场, 再次成为了反爬虫 Team 的噩梦
自Google 发布 chrome 59 / 60 正式版 开始便支持Headless mode
这意味着在无 GUI 环境下, PhantomJS 不再是唯一选择
谷歌无头浏览器:
#selenium:3.12.0 #webdriver:2.38 #chrome.exe: 65.0.3325.181（正式版本） （32 位） from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument(‘window-size=1920x3000‘) #指定浏览器分辨率 chrome_options.add_argument(‘--disable-gpu‘) #谷歌文档提到需要加上这个属性来规避bug chrome_options.add_argument(‘--hide-scrollbars‘) #隐藏滚动条, 应对一些特殊页面 chrome_options.add_argument(‘blink-settings=imagesEnabled=false‘) #不加载图片, 提升速度 chrome_options.add_argument(‘--headless‘) #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败 chrome_options.binary_location = r"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" #手动指定使用的浏览器位置 driver=webdriver.Chrome(chrome_options=chrome_options) driver.get(‘https://www.baidu.com‘) print(‘hao123‘ in driver.page_source) driver.close() #切记关闭浏览器，回收资源
需求: 尽可能多的爬取豆瓣网中的电影信息
from selenium import webdriver from lxml import etree import time import json # 实例化一个浏览器对象 b = webdriver.PhantomJS(executable_path=r"D:\python视频\Crawler\资料\phantomjs-2.1.1-windows\bin\phantomjs.exe") url = "https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=" b.get(url=url) time.sleep(2) #让浏览器执行js代码 for i in range(5): js = "window.scrollTo(0,document.body.scrollHeight)" # 讲浏览器滚轮滚到最低端 b.execute_script(js) time.sleep(1) # page_source可以获取浏览器当前的页面源码 page_text = b.page_source b.save_screenshot("666.png") tree = etree.HTML(page_text) div_list = tree.xpath("//*[@id=‘content‘]/div/div[1]/div[6]/div") # 列表 move_content = [] for div in div_list: move_id = div.xpath("./div/div/div[1]/span[@class=‘rank-num‘]/text()")[0] move_name = div.xpath("./div/div/div[1]/span[1]/a/text()")[0] movie_crew_tag = div.xpath("./div/div/div[@class=‘movie-crew‘]/text()") if movie_crew_tag: movie_crew = movie_crew_tag[0] else: movie_crew = "" movie_misc = div.xpath("./div/div/div[@class=‘movie-misc‘]/text()")[0] movie_rating = div.xpath("./div/div/div[@class=‘movie-rating‘]//text()")[0] move_info = { "move_id": move_id, "move_name": move_name, "movie_crew": movie_crew, "movie_misc": movie_misc, "movie_rating": movie_rating } move_content.append(move_info) print(move_name + "下载完毕") f = open("move.html", "w", encoding="utf-8") json.dump(move_content,f, ensure_ascii=False) f.close()
标签：blank .text 网站 blog mod dismiss open port bsp
原文地址：https://www.cnblogs.com/glh-ty/p/9879067.html
