一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 - 运行结果观察发现，我们可以获取图片的名称，但是链接获取的为空，检查后发现xpath表达式也没有问题，究其原因出在了哪里呢？ 图片懒加载概念： 在网页源码中，在img标签中首先会使用一 ...
分类：
Web程序 时间：
2019-03-03 16:22:10
阅读次数：
348
问题今天在使用selenium+PhantomJS动态抓取网页时，出现如下报错信息： 翻译过来就是： 解决方案selenium版本降级通过pip show selenium显示，默认安装版本为3.8.1。 将其卸载pip uninstall selenium，重新安装并指定版本号pip instal ...
分类：
Web程序 时间：
2019-02-24 00:32:29
阅读次数：
270
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的， Selenium可以根据我们的指令，让浏览器自动加载页面，获取需要的页面，甚至页面截屏，或者判断网站上某些动作是否发生。 Selenium自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我 ...
分类：
Web程序 时间：
2019-02-05 22:21:39
阅读次数：
208
突然有个自动化需求所以准备使用模拟点击的方法， 在使用之前的PhantomJS时，报错 UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome …… ...
分类：
Web程序 时间：
2019-01-23 17:29:57
阅读次数：
252
摘要：从零开始写爬虫，初学者的速成指南！ 大家好！从今天开始，我要与大家一起打造一个属于我们自己的分布式爬虫平台，同时也会对涉及到的技术进行详细介绍。大家如果有什么好的想法请多留言，多提意见，一起来完善我们的爬虫平台。在正式介绍平台之前，先用一些篇幅对基础篇做一点补充。 模拟滚动 这次的目标是爬一个 ...
分类：
Web程序 时间：
2019-01-23 13:53:53
阅读次数：
196
# 使用selenium和phantomJS浏览器登陆豆瓣的小演示 # 导入库 from selenium import webdriver # 实例化一个浏览器对象 web = webdriver.PhantomJS() # 请求页面 web.get("https://www.douban.com... ...
分类：
Web程序 时间：
2019-01-20 20:55:07
阅读次数：
195
# 使用selenium和phantomJS浏览器获取网页内容的小演示 # 导入包 from selenium import webdriver # 使用selenium库里的webdriver方法调用PhantomJS浏览器实例一个浏览器的操作对象 # 括号里的参数为PhantomJS浏览器在电脑... ...
分类：
Web程序 时间：
2019-01-14 23:12:02
阅读次数：
210
爬虫之图片懒加载技术、selenium和PhantomJS 图片懒加载 selenium phantomJs 谷歌无头浏览器 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- co ...
分类：
Web程序 时间：
2019-01-11 20:39:36
阅读次数：
208
最近由于工作需要，需要对部分网站进行全文截屏。在网上搜了很久没有搜出好的方法，而且在新版的selenium中已经不在支持PhantomJS了，所以全文截取变得有点棘手。 此处给出一个简单的方法，以20行代码实现selenium+chromedriver+python实现豆瓣的全文截取。 以下为截屏效 ...
分类：
Web程序 时间：
2019-01-08 10:14:01
阅读次数：
324
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动化操作，不同是Selenium可以直接运行在浏览器上，它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。 Selenium ...
分类：
编程语言 时间：
2019-01-04 16:09:50
阅读次数：
226
