基于单线程+多任务异步协程实现异步爬取 使用asyncio加上aiohttp 协程对象 协程：对象，可以把协程当做是一个特殊的函数，如果一个函数的定义被async关键字所修饰，该特殊的函数被调用后函数内部的程序语句不会被立即执行，而是会返回一个协程对象。 from time import sleep ...
分类：
编程语言 时间：
2020-06-09 13:04:36
阅读次数：
61
requests模块数据解析 数据解析最根本的作用：定位到某个标签，并获取该标签的文本或者属性 解析：根据指定的规则对数据进行提取 作用：实现聚焦爬虫 聚焦爬虫的编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 数据解析的方式: 正则 bs4 xpath 通用原理: 1.标签定位 ...
分类：
其他好文 时间：
2020-06-09 12:49:24
阅读次数：
82
Appium移动端自动化：Appium-Desktp的使用以及定位元素方式总结 目录 一、appium-desktop功能介绍 二、定位方式 1、ClassName 2、id定位 3、xpath定位 4、AccessibilityId 5、AndroidUiautomator定位 6、iOSPred ...
分类：
移动开发 时间：
2020-06-07 21:44:37
阅读次数：
106
目标：输入电影名称，显示其基本信息，并生成一张评论词云图 电影信息来源为豆瓣网，搜索页面地址为https://search.douban.com/movie/subject_search?由于其页面是通过js渲染的，直接通过requests请求是拿不到电影信息数据的，所以在此我先用selenium获 ...
分类：
其他好文 时间：
2020-06-06 13:08:30
阅读次数：
1461
IOS常用控件定位方式 name：id定位 lable：accessibility定位 value：xpath定位 IOS模拟器 环境：appium-desktop 1.15.1 IDE：PyCharm 应用：UICatalog.app.zip(这是我编译好的链接下载地址: https://pan. ...
分类：
移动开发 时间：
2020-05-31 22:11:09
阅读次数：
115
前言 在网上看到了一个XPATH注入，发现自己确实有的地方没见过。。就拿来学习了一下 链接： https://xz.aliyun.com/t/7791#toc-3 https://www.cnblogs.com/backlion/p/8554749.html#top XPATH XPath 即为 X ...
分类：
其他好文 时间：
2020-05-31 16:11:32
阅读次数：
64
by 某某白米饭 XPath 和 lxml XPath 全称为 Xml Path Language，即 Xml 路径语言，是一种在 Xml 文档中查找信息的语言。它提供了非常简洁的路径选择表达式，几乎所有的节点定位都可以用它来选择。 XPath 可以用于 Xml 和 Html，在爬虫中经常使用 XP ...
分类：
其他好文 时间：
2020-05-31 15:40:58
阅读次数：
66
XML称为可扩展标记语言，XML是互联网数据传输的重要工具，它可以跨越互联网任何的平台，不受编程语言和操作系统的限制，可以说它是一个拥有互联网最高级别通行证的数据携带者。非常类似HTML。 HTML 和 XML的区别在于HTML主要用来显示数据，XML是用来传输数据。 XML都是标签闭合的。例如： ...
分类：
其他好文 时间：
2020-05-29 22:53:41
阅读次数：
164
前几天小编连续写了四篇关于Python选择器的文章，分别用正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。今天小编来给大家总结一下这四个选择器，让大家更加深刻的理解和熟悉Python选择器。 一、正则表达式 正则表达式为我们提供了抓取数据的快捷方式。虽然该正 ...
分类：
编程语言 时间：
2020-05-29 09:32:51
阅读次数：
100
