1.简介 jsonpath一般用来解析多层嵌套的json数据，语法规则类似于xpath 2.下面以官网上的一段json数据做为demo我们来做解析操作，读者可在http://jsonpath.com/上面进行解析验证操作 {"store": { "book": [ { "category": "re ...
分类：
Web程序 时间：
2020-05-07 01:06:20
阅读次数：
105
以长沙楼盘为例，看一下它的房价情况如何url = https://cs.newhouse.fang.com/house/s/b91/ 一、页面 二、分析页面源代码 我们要获得的数据就是名字和价格，先来分析一下源代码，鼠标右键Inspect，并且打开xpath，第一步，找到需要提取数据的区域，选中定位 ...
分类：
其他好文 时间：
2020-05-06 19:28:26
阅读次数：
103
已经学会了xpath了 然后的话 ctrl+alt+v是自动生成返回值 然后的话iter是遍历的函数 ...
分类：
编程语言 时间：
2020-05-05 16:19:53
阅读次数：
79
数据采集利用各种手段获取数据,数据样式不限制,但一般而言是形如excel或者csv这样的表格格式。数据采集:urllib,requests数据解析:Xpath,BS4,正则表达式数据持久化存储:pd.to_csv,pd.to_excel,MySQL,Redis数据预处理一般而言,数据分析和数据挖掘领域的处理的数据都是海量的数据,这样的数据难免会出现问题。数据预处理占到数据挖掘工作的60%,这是最重
分类：
编程语言 时间：
2020-05-03 00:58:59
阅读次数：
67
1、练习上课所讲的selenium元素定位的八个方法 2、通过selenium启动浏览器，并通过xpath完成下面页面中标识出来的5个元素定位（两个页面任选一个，百度页面上看不到所有元素的同学，就选页面二） 页面一： 页面二： 地址：https://voice.baidu.com/act/newpn ...
分类：
Web程序 时间：
2020-05-01 18:53:02
阅读次数：
77
xml extensible markdown language CDATA区 让xml解析器，将特殊字当作文本，而不是当成标签来解析 xml解析方式 常用的有两种 DOM (Document Object Model) 将整个xml读入内存，形成树形结构来解析，可以进行增删改查操作 SAX （Si ...
分类：
其他好文 时间：
2020-05-01 16:33:13
阅读次数：
66
路径操作 path模块 from os import path #os 模块常用函数，os.path模块 p = path.join('/etc/','sysconfig','network') #拼接 print(type(p),p) print(path.exists(p)) #存在性判断 pr ...
分类：
编程语言 时间：
2020-05-01 01:10:10
阅读次数：
77
简述：BeautifulSoup 外， python常用的解析HTML、XML的第三方库：lxml， lxml中语法为xpath 1. 使用爬取的页面数据，来定义一个对象。 2. 使用xpath来解析这个对象中的标签树。 """lxml使用xpath语法，来解析HTML""" from lxml i ...
分类：
Web程序 时间：
2020-04-30 17:24:01
阅读次数：
86
css定位比较灵活，一般情况下定位速度要比XPTAH要快。 基础语法 1.选择器 注意class属性值是包含某值 2.节点关系定位 3.谓语 实例 以百度首页为例，定位一些元素。旧版本的firebug和firefox比较好用，但是现在这两个插件已经被遗弃，推荐使用try xpath来验证自己的选择器 ...
分类：
Web程序 时间：
2020-04-30 14:00:00
阅读次数：
71
文章内容摘录自：https://www.w3school.com.cn/xpath/xpath_syntax.asp 1、Xpath语法 实例： 1） 选取节点 语法： 实例： 2）谓语 实例： 3）选取未知节点 语法： 实例： 4）选取若干路径 2、xpath运算符 ...
分类：
其他好文 时间：
2020-04-30 11:53:01
阅读次数：
88
