问题状况: response = requests.get(url=url, headers=headers).text html = etree.HTML(response) name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0] ...
分类:
编程语言 时间:
2020-07-28 14:08:09
阅读次数:
87
#!/usr/bin/python from lxml import etree if __name__ == "__main__": #实例化一个etree对象,且将被解析的源码加载到了该对象中 tree = etree.parse('test.html') r = tree.xpath('./h ...
分类:
其他好文 时间:
2020-07-28 10:13:54
阅读次数:
68
聚焦爬虫:爬取页面中指定的页面内容 - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析分类: -正则 -bs4 -xpath(***) 数据解析原理概述 https://book.apeland.cn/details/78/ - 解析的局部的文本内容都会在标签之间 ...
分类:
其他好文 时间:
2020-07-28 10:13:43
阅读次数:
76
#!/usr/bin/python import requests from lxml import etree #需求:爬取58二手房中的房源信息 if __name__ == "__main__": headers = { 'User-Agent':'Mozilla/5.0 (Windows N ...
分类:
其他好文 时间:
2020-07-28 10:12:45
阅读次数:
79
#!/usr/bin/python import requests from lxml import etree #项目需求:解析出所有的城市名称https://www.aqistudy.cn/historydata/ if __name__ == "__main__": # headers = { ...
分类:
其他好文 时间:
2020-07-28 10:10:33
阅读次数:
61
通过xpath定位所有的 包含‘设’的所有文本 的元素 titles = driver.find_elements_by_xpath("//*[contains(@text,'设')]")#显示titles中包含‘设’的所有文本for title in titles: print("这是title: ...
分类:
移动开发 时间:
2020-07-24 21:14:02
阅读次数:
86
(67,68,69) 目录 一、python八大元素定位 正文 一、python八大元素定位方式 id、name、class_name、tag_name、link_text、partial_link_text、xpath、css_selector 1.元素定位 得到的返回值是一个webelement ...
分类:
其他好文 时间:
2020-07-24 09:17:51
阅读次数:
264
处理iframe切换 本文介绍如何利用Selenium中方法,在不同iframe中切换。 问题:有时候我们发现元素定位没问题,在测试回放的过程,发现就是找不到元素报错。 由于没有找到合适的iframe网站,这里不好用代码举例,简单文字加图片来介绍。 自己写了一个网页,利用iframe网页框架,把网页 ...
分类:
编程语言 时间:
2020-07-23 23:14:01
阅读次数:
81
案例一:解析出全国所有城市名称代码如下:importrequestsfromlxmlimportetreeif__name__=="__main__":headers={‘User-Agent‘:‘Mozilla/5.0(Macintosh;IntelMacOSX10_12_0)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.103Safar
分类:
编程语言 时间:
2020-07-23 19:04:28
阅读次数:
103
当做UI自动化的时候,有时候明明表达式写的没有问题,就是定位不到 。。这是为啥嘞 咱拿登录qq邮箱做个示范 不论是xpath定位还是直接ui或name定位,直接u就对了 。 这是初学最容易犯的问题,因为初学ui自动化,想着找一个网站去试验 ,一般都是常用的,比如邮箱登录啊,空间登录啊,等等,这种网址 ...
分类:
编程语言 时间:
2020-07-23 16:00:56
阅读次数:
97