码迷,mamicode.com
首页 >  
搜索关键字:selenium 爬虫    ( 16232个结果
自动化测试之争:code vs codeless
在TesterHome看到的一个话题,当我们选择做自动化时是否需要code 或者codeless。 code方案 用code去做自动化,实现过程就是拿个IDE撸代码。 python + pytest/unittest + appium/selenium/requests + ... Java + J ...
分类:其他好文   时间:2021-06-15 17:38:48    阅读次数:0
获取页面编码类型
我们用爬虫爬取页面时会出现因解码方式错误出现乱码。需要去查询页面的编码方式。直接F12中控制台输入document.charset ...
分类:其他好文   时间:2021-06-13 09:54:01    阅读次数:0
selenium处理iframe下 #document 标签
使用selenium处理html的时候,遇到通过“iframe”标签实现的网页嵌套了,这个没有问题。但是,仔细再看,就发现,“iframe”标签下还有个#document==0,有点不讲武德。如图: 各种查资料,没有找到有价值的信息。 解决方案1: 最后我就直接在html中把 “#document” ...
分类:其他好文   时间:2021-06-13 09:37:32    阅读次数:0
[数据库/数据分析/数据工程]数据工程的学习资源【待续】
本文所指之数据工程,限定于: 数据分析、数据采集(集成) 1 网站 spider-flow - 智能高效的在线爬虫 spider-flow 是一个无需写代码的爬虫平台,以图形化方式定义爬虫流程,无需代码即可实现一个爬虫 superset.workerindata.com - 账号: bilibili ...
分类:数据库   时间:2021-06-11 18:27:40    阅读次数:0
构建免费ip池
import reimport requestsimport timeimport randomfrom selenium import webdriverfrom tools.headers import headersfor item in range(1, 100): time.sleep(r ...
分类:其他好文   时间:2021-06-11 17:47:01    阅读次数:0
使用异步生成器的一个爬虫例子
在学习python协程的过程中,结合生成器函数,实现了新浪新闻的深度爬取,深度爬取可以一边获得新生成的url,一边向URL发出请求,下面上代码 import aiohttpfrom lxml import etreeimport csvimport asyncioimport osfrom logu ...
分类:其他好文   时间:2021-06-10 17:45:03    阅读次数:0
Selenium+WebDriver 各浏览器对应驱动下载与使用
WebDriver驱动下载与使用 1. Firefox(火狐)浏览器驱动 下载地址:https://github.com/mozilla/geckodriver/releases/ 2. Chrome浏览器驱动 下载地址:http://chromedriver.storage.googleapis. ...
分类:Web程序   时间:2021-06-08 23:11:55    阅读次数:0
mac + python + selemiun + chrome 搭建
1、官网下载安装python 2、python 创建项目,使用虚拟环境,在终端 使用 (1)、pip install selenium 安装selenium (2)、 pip show selenium 检查安装情况 3、下载chrome 浏览器对应的驱动,解压,放到python 安装目录下 /us ...
分类:编程语言   时间:2021-06-08 23:03:22    阅读次数:0
【教程】利用Selenium爬取数据
Selenium简介 Selenium是一个web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium可以直接运行在浏览器上,它支持所有主流的浏览器,可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏。【爬虫效率比较低】 安装方法如下: pip install selen ...
分类:其他好文   时间:2021-06-08 22:42:27    阅读次数:0
python selenium 获取xlink元素内容
for link in driver.find_elements_by_css_selector("tr:nth-child(1) > td.taskStatus use"): assert_status = link.get_attribute('xlink:href') print(assert ...
分类:编程语言   时间:2021-06-07 20:49:35    阅读次数:0
16232条   上一页 1 2 3 4 5 6 ... 1624 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!