爬取电商网站的商品信息: URL为: https://www.zhe800.com/ju_type/baoyou 抓取不同分类下的商品数据 抓取内容为商品的名称, 价格数字, 商品图片 将商品图片二进制流, 商品名称和价格数字一同存储于MongoDB数据库 存储数据结构为: { ‘name’: ‘懒 ...
分类：
数据库 时间：
2020-05-15 20:11:44
阅读次数：
90
场景：鼠标移动到一级菜单上二级菜单才显示，移开鼠标二级菜单就消失，如何查找定位二级菜单 操作： 1.打开F12,点击sources 2.鼠标移动到一级菜单“工单管理” 3.按下键盘“Ctrl+\”，暂停运行。等待3s，暂停框出现 4.再点击Elements，通过xpath定位即可 5.定位结束后，再 ...
分类：
其他好文 时间：
2020-05-15 09:33:07
阅读次数：
262
1 Sub Xpath定位() 'MSXML2.DOMDocument.6.0 2 Const str_Html As String = _ 3 "<div id = ""outside"">" & _ 4 "<div id =""box"">" & _ 5 "<div id = ""head"" ...
分类：
编程语言 时间：
2020-05-11 22:00:57
阅读次数：
172
1、简介 Scrapy终端是一个交互终端，可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看它们的工作方式，方便在爬取的网页中提取数据。 如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终 ...
分类：
系统相关 时间：
2020-05-11 19:03:07
阅读次数：
72
webdriver中弹框 1 #1:定位alert弹出框 2 #点击页面元素，触发alert弹出框 3 driver.find_element_by_xpath('//*[@id="alert"]').click() 4 time.sleep(3) 5 #等待alert弹出框可见 6 WebDriv ...
分类：
Web程序 时间：
2020-05-10 17:13:26
阅读次数：
78
1、XML语言 （1）XML指可扩展标记语言（EXtensible Markup Language） （2）XML是一中标记语言，类似于HTML （3）XML的设计宗旨是传输数据，而非显示数据 （4）XML的标签需要我们自行定义 （5）XML被设计为具有自我描述性 （6）XML是W3C的推荐标准 官 ...
分类：
其他好文 时间：
2020-05-09 21:05:02
阅读次数：
68
数字三角形73 88 1 02 7 4 44 5 2 6 5在上面的数字三角形中寻找一条从顶部到底边的路径，使得路径上所经过的数字之和最大。路径上的每一步都只能往左下或右下走。只需要求出这个最大和即可，不必给出具体路径。三角形的行数大于1小于等于100，数字为 0 - 99输入格式：5 //三角形行 ...
分类：
其他好文 时间：
2020-05-09 10:39:39
阅读次数：
60
Scrapy+selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要的数据 异步存储数据到M ...
分类：
其他好文 时间：
2020-05-08 20:05:59
阅读次数：
74
Scrapy框架的使用 - pySpider - 什么是框架？ - 就是一个具有很强通用性且集成了很多功能的项目模板（可以被应用在各种需求中） - scrapy集成好的功能： - 高性能的数据解析操作（xpath） - 高性能的数据下载 - 高性能的持久化存储 - 中间件 - 全栈数据爬取操作 - ...
分类：
其他好文 时间：
2020-05-08 13:01:47
阅读次数：
63
html中的head的meta元素中的keywords与description标签如下： <meta name="keywords" content="xxxx" > <meta name="description" content="xxxx"> xpath获取属性使用@属性名就行了，如 //me ...
分类：
Web程序 时间：
2020-05-07 01:07:58
阅读次数：
115
