Web控件定位 模块web控件的定位 $x('//*[@id="page"]/a[last()-1]') Xpath网页上全遍历，速度慢 ，但是appium和selenium均可用 ...
分类：
其他好文 时间：
2020-06-18 12:39:45
阅读次数：
108
数据解析 聚焦爬虫：在通用爬虫的基础之上，可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式： 正则 bs4 xpath（重点） pyquery（自学） 聚焦爬虫编码流程： 指定url 发起请求 获取响应数据 数据解析 持久化存储 数 ...
分类：
其他好文 时间：
2020-06-18 11:22:58
阅读次数：
123
1、引入 聚焦爬虫：在通用爬虫的基础之上，可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式： 正则 bs4 xpath（重点） pyquery 聚焦爬虫编码流程： 指定url 发起请求 获取响应数据 数据解析 持久化存储 2、数据解 ...
分类：
编程语言 时间：
2020-06-17 23:03:38
阅读次数：
74
# coding:utf-8from selenium import webdriverimport timedriver = webdriver.Chrome()driver.get(r"E:\Selenium\radio_checkbox.html")# 没点击操作前，判断选项框状态s = dr ...
分类：
其他好文 时间：
2020-06-17 12:49:45
阅读次数：
66
WebMagic 一款爬虫框架 WebMagic项目代码分为核心和扩展两部分。 核心部分是一个精简的、模块化的爬虫实现 扩展部分则是包括一些便利的、实用性的功能 架构介绍 WebMagic的结构分为四部分：Downloader、PageProcessor、 Scheduler、Pipeline四大组 ...
分类：
Web程序 时间：
2020-06-16 01:12:12
阅读次数：
93
#代码如下：from selenium import webdriverimport timebase_url = "http://www.xx007.cn/login.asp"#账户usr_name = "benq81"#密码usr_pwd = "jenny8174"driver = webdri ...
分类：
编程语言 时间：
2020-06-15 12:25:30
阅读次数：
44
这一节，我们介绍一下页面元素定位的八种方式和如何通过火狐和谷歌浏览器获取元素定位信息.页面元素的定位方法html页面是有一个个的标签组成的，我们定位元素其实就是定位这些标签。首先来看一下有哪儿几种定位方式：idnameclassnametagnamelinktextpartiallinktextxpathcssselector一共八种定位方式，其实常用的定位方式也有：xpath、cssselect
分类：
Web程序 时间：
2020-06-12 16:08:33
阅读次数：
118
使用 xpath 选择网页所使用的标签 request传递数据 html response formrequest 使用 登录界面 内容存储为json lines 文件 setting 文件设置实现 保存在json 文件中 LOG_FORMAT 日志的格式 LOG_DATEDORMAT 日志日期的格 ...
分类：
其他好文 时间：
2020-06-11 16:09:43
阅读次数：
59
安装前准备： （1）下载 XPath Helper资源： 链接: https://pan.baidu.com/s/1yEnngIJz8fT9fNv3aHhs7w 提取码: afy3 （2）Chrome打开扩展页面 方法：地址栏输入：chrome://extensions/ 安装方法： 方法一. 将下 ...
分类：
其他好文 时间：
2020-06-10 11:00:02
阅读次数：
63
UICollectionView与UITableView类似，都可以使用reloadData来进行cell内容的更新。 UICollectionView可以采用reloadItemsAtIndexPaths方法。 self.collectionView.reloadItems(at: [indexP ...
分类：
移动开发 时间：
2020-06-09 16:56:19
阅读次数：
169
