[A] 网络爬虫引发的问题 1. 当前网络爬虫根据规模可分为三种： 1. 小型规模，主要用于爬取网页，玩转网页，数据量小，并且对于爬取速度不敏感，这种爬虫可以直接通过Python提供的第三方库Requests即可实现 2. 中等规模，主要用于爬取网站，系列网站，数据量大，并且对于爬取速度有敏感性，如 ...
分类：
编程语言 时间：
2020-11-20 12:08:29
阅读次数：
11
一种 灵活、强大 的选择元素的方式，就是使用 Xpath 表达式 既然已经有了CSS，为什么还要学习 Xpath呢？ 因为 有些场景 用 css 选择web 元素 很麻烦，而xpath 却比较方便。 另外 Xpath 还有其他领域会使用到，比如 爬虫框架 Scrapy， 手机App框架 Appium ...
分类：
其他好文 时间：
2020-11-20 11:57:56
阅读次数：
8
基本流程： 准备工作：（通过浏览器查看分析目标网页，学习编程基础规范） 获取数据：（通过HTTP库向目标站点发起请求，请求可以包含额外的header等信息，如果服务器能正常响应，会得到一个Response，便是所要获取的页面内容） 解析内容：（得到的内容可能是HTML、json等格式，可以用页面解析 ...
分类：
编程语言 时间：
2020-11-19 12:54:57
阅读次数：
10
2019 年 11 月，DropBox 官博发布了一篇《感谢你，Guido》的文章，透露出龟叔（Guido van Rossum）要离职退休的消息。后来龟叔自己也在推特证实了。 时隔一年，就在今天（2020 年 11 月 13 日）凌晨 1 点，龟叔在推特上宣布了一个大新闻，他要加入微软！！！ 龟叔 ...
分类：
编程语言 时间：
2020-11-19 12:30:40
阅读次数：
11
接口自动化测试三部曲：1、构造请求 2、判断结果 3、数据库查询 1、Python的第三方包：requests 简介：requests可以用来做接口测试、接口自动化测试、爬虫等 requests的环境搭建：管理员身份在cmd运行：pip3 install requests -i https://py ...
分类：
编程语言 时间：
2020-11-18 13:19:45
阅读次数：
23
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云，作者：张凝可 很多网站为了避免被恶意访问，需要设置验证码登录，避免非人类的访问，Python爬虫实现验证码登录的原理则是先到登录页面将生成的验证码保存下来，然后 ...
分类：
编程语言 时间：
2020-11-18 13:00:48
阅读次数：
12
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云，作者：周小董 重定向问题 在使用python爬虫的过程中难免会遇到很多301，302的问题。他们出现时，很大程度的影响到我们的爬虫速度和信息的准确性。下面针对不 ...
分类：
编程语言 时间：
2020-11-18 12:55:55
阅读次数：
8
使用Flask-excel导出数据 安装： pip install Flask-Excel pip install pyexcel-xlsx # 导出xlsx pip install pyexcel-xls # 导出xls 注册app import flask_excel as excel exce ...
分类：
其他好文 时间：
2020-11-18 12:34:05
阅读次数：
3
可能99%的同学不做搜索引擎，但99%的同学一定实现过检索功能。搜索，检索，这里面到底包含哪些技术的东西，希望本文能够给大家一些启示。全网搜索引擎架构与流程如何？全网搜索引擎的宏观架构如上图，核心子系统主要分为三部分（粉色部分）：（1）spider爬虫系统；（2）search&index建立索引与查询索引系统，这个系统又主要分为两部分：一部分用于生成索引数据build_index一部分用于
分类：
其他好文 时间：
2020-11-16 13:57:29
阅读次数：
12
一.关于爬虫爬虫，是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。反爬虫，从不是将爬虫完全杜绝；而是想办法将爬虫的访问量限制在一个可接纳的范围，不要让它过于频繁。二.提高爬虫效率的方法协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。多进程。使用CPU的多个核，使用几个核就能提高几倍。多线程。将任务分成多个，并发（交替）的执行。分布式爬虫。让多个设备去跑同
分类：
其他好文 时间：
2020-11-12 14:10:38
阅读次数：
9
