Scrapy框架架构： Scrapy框架介绍： 写一个爬虫，需要做很多的事情。比如：发送请求、数据、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求。这些工作如果每次都要自己从零开始写的话，比较浪费时间’因此Scrapy 把一些基础的东西封装好了，在它上面写爬虫可以变的更加的高效（爬取 ...
分类：
其他好文 时间：
2021-04-06 15:10:26
阅读次数：
0
一、数据绑定流程 Spring MVC 通过反射机制对目标处理方法进行解析，将请 求消息绑定到处理方法的入参中。数据绑定的核心部件是 DataBinder 1、Spring MVC 主框架将 ServletRequest 对象及目标方法的入参实例传递给 WebDataBinderFactory 实例 ...
分类：
其他好文 时间：
2021-04-05 12:12:43
阅读次数：
0
一、Xpath语法简介 还有一种 灵活、强大 的选择元素的方式，就是使用 Xpath 表达式。 XPath (XML Path Language) 是由国际标准化组织W3C指定的，用来在 XML 和 HTML 文档中选择节点的语言。 目前主流浏览器 (chrome、firefox，edge，safa ...
分类：
其他好文 时间：
2021-04-05 11:51:33
阅读次数：
0
Java基础回顾 基本数据类型 数值类型 什么是字节？ 位（bit）：是计算机中数据的最小单位 字节(byte)：是计算机中数据处理的基本单位，习惯上用大写字母B来表示 1 B = 8 bit 字符：是指计算机中使用的字母、数字、字和符号 整数类型： ? byte 1个字节 最大值为127 ? sh ...
分类：
编程语言 时间：
2021-04-01 13:42:37
阅读次数：
0
起因是毕业设计需要大量的图书信息来填充数据库，所以想到利用爬虫来爬取学校图书馆内的藏书信息。 我使用的是python里面的requests库来实现爬虫的 简单的语法 response = requests.get("url") #生成一个response对象 response.encoding = ...
分类：
编程语言 时间：
2021-03-31 12:26:21
阅读次数：
0
### Python网络爬虫之requests模块 ###### 什么是requests模块 ? request模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占着半壁江山的地位。 ###### 为什么要使用request模块 ? ...
分类：
编程语言 时间：
2021-03-31 12:17:39
阅读次数：
0
在py文件中开启scrapy爬虫，且可传入start_urls参数。 ...
分类：
其他好文 时间：
2021-03-31 12:10:02
阅读次数：
0
全面超越Appium，使用Airtest超快速开发App爬虫 想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，使用 Airtest 开发 App 爬虫，只要人眼能看到，你就能抓到，最快只需要2分钟，兼容 Unity3D、Cocos2dx-*、Android 原生 App ...
分类：
其他好文 时间：
2021-03-29 11:53:32
阅读次数：
0
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
python—简单数据抓取六（安装scrapy环境并创建爬虫项目、以顶点小说网为例利用scrapy进行爬取、scrapy相关的注意事项） 学习内容： 学习使用scrapy1、安装scrapy环境并创建爬虫项目2、以顶点小说网为例利用scrapy进行爬取3、scrapy相关的注意事项 1、安装scra ...
分类：
编程语言 时间：
2021-03-17 14:42:17
阅读次数：
0
