一、Xpath 1.1、Xpath介绍 XPath是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。 XML是和HTML格式类似的标记语言。拥有标签，节点等元素。但是HTML会被浏览器识别，并根据标签的含义生成对应的样式。xml则不会被识别，且他的标签 ...
分类：
其他好文 时间：
2021-05-24 00:02:14
阅读次数：
0
如果发送者和接受者是一个局域网,那么数据链路层的报头就是他们的MAC地址, 直接通过MAC地址就可以通信了,直接在局域网内广播, 广播的信息是MAC地址,IP地址,TCP,数据,解析到IP的时候,是谁的IP就接收,不是就丢弃 依次解析: 物理层 转换二进制 数据链路层 MAC地址,IP地址,TCP, ...
分类：
编程语言 时间：
2021-05-03 12:46:37
阅读次数：
0
xpath解析：最常用且最便捷高效的一种解析方式，通用性 -xpath解析原理： -1、实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 -2、调用etree对象中的xpath方法结合这xpath表达式实现标签的定位和内容的捕获 -环境的安装： -pip install lx ...
分类：
编程语言 时间：
2021-02-16 12:20:18
阅读次数：
0
爬虫Ⅱ:scrapy框架 step5: Scrapy框架初识 Scrapy框架的使用 pySpider 什么是框架： 就是一个具有很强通用性且集成了很多功能的项目模板（可以被应用在各种需求中） scrapy集成好的功能： 高性能的数据解析操作（xpath） 高性能的数据下载：基于异步 高性能的持久化 ...
分类：
其他好文 时间：
2020-11-30 16:05:04
阅读次数：
8
第一种： 比如json字符串为：[{“name”:”name0”,”age”:0}] Person person = gson.fromJson(str, Person.class);//直接转换 第二种，转换成List集合：Person为实体类 List<Person> ps = gson.fro ...
分类：
编程语言 时间：
2020-09-21 12:02:49
阅读次数：
50
一、问题由来 测试人员最近在测试时，后台日志一直抱错，大致意思是JSON数据解析错误，错误信息如下： 二、问题分析 去查看代码时，发现异常信息是这里抛出来的，解析时使用的是json-lib这个包中的方法； 然后进一步排查错误，将里面的测试数据复制出来查看能否正常解析，如下： 结果还是不行，进一步排查 ...
分类：
编程语言 时间：
2020-09-18 03:23:00
阅读次数：
62
ImagesPipeline ImagesPipeline：专门用作于二进制数据下载和持久化存储的管道类。建议在爬虫文件中进行数据解析，不建议在爬虫文件中直接进行数据存储。 图片懒加载：应用到标签的伪属性，数据捕获的时候一定是基于伪属性进行。 # -*- coding: utf-8 -*-impor ...
分类：
其他好文 时间：
2020-08-15 23:57:48
阅读次数：
109
JavaScript学习系列博客_16_JavaScript中的函数的参数、返回值 ...
分类：
编程语言 时间：
2020-08-13 12:07:25
阅读次数：
51
上次内容总结 requests作用：模拟浏览器发起请求 urllib：requests的前身 requests模块的编码流程： 指定url 发起请求： get（url,params,headers） post（url,data,headers） 获取响应数据 持久化存储 参数动态化： 有些情况下我们 ...
分类：
其他好文 时间：
2020-08-10 10:52:28
阅读次数：
64
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-08-01 12:38:39
阅读次数：
93
