一、搜索引擎工作原理 搜索引擎的工作分为三个阶段，即爬行，索引和检索 1、爬行 搜索引擎具有网络爬虫或蜘蛛来执行爬网，每次抓取工具访问网页时，它都会复制该网页并将其网址添加到索引中。 在“蜘蛛”抓取网页内容，提炼关键词的这个过程中，就存在一个问题：“蜘蛛”能否看懂。如果网站内容是 flash 和 j ...
分类：
Web程序 时间：
2019-08-14 17:15:08
阅读次数：
122
原文:Docker最全教程之Python爬网实战(二十一)Python目前是流行度增长最快的主流编程语言，也是第二大最受开发者喜爱的语言（参考Stack Overflow 2019开发者调查报告发布）。笔者建议.NET、Java开发人员可以将Python发展为第二语言，一方面Python在某些领域确... ...
分类：
编程语言 时间：
2019-04-17 12:15:06
阅读次数：
162
个人网站 重点强调的语义，就是在布局的时候多使用有语义的标签，搜索引擎在爬网的时候能认识这些标签，理解文档的结构，方便网站的收录。比如：h1标签是表示标题，p标签是表示段落，ul、li标签是表示列表，a标签表示链接，dl、dt、dd表示定义列表等，语义化的标签不多。 专业词汇，就是在布局的时候多使用... ...
分类：
Web程序 时间：
2019-03-03 09:50:34
阅读次数：
176
在爬网站时，发现网站做了百度云加速，每次访问首页时要求输入验证码，才能打开网站首页 没采用网上自动解析验证码图片的方案，快过年了，不想PIP，快速解决快速回家 经过分析网站，发现如果你拿到一个当期可用的Cooikes后，你就可以一直爬数据，且并不会触发百度验证输入 代码如下（注意：代码中的网址、Co ...
分类：
Web程序 时间：
2019-02-02 17:09:02
阅读次数：
332
恢复内容开始 一.Scanner的介绍 详细了解Burp Scanner的工作原理 Burp Scanner是一种用于执行网站自动扫描，发现内容和审核漏洞的工具 执行扫描所涉及的工作包括两个关键阶段： 对内容进行爬网 - 这涉及在应用程序中导航，跟踪链接，提交表单以及在必要时登录，以对应用程序的内容 ...
分类：
其他好文 时间：
2019-01-01 17:22:03
阅读次数：
208
python GIL 给你a, b, c, d, e 5个网站，让你爬 网站基本一样，程序现成的，程序：run.py 只能处理一个网站的抓取工作 原来的url = a 要求性能较好 过程没什么问题，实现细节 5个主机，2个主机怎么办？ 多进程、多线程 优先队列解决不了根本的问题 性能没有任何提升 字 ...
分类：
其他好文 时间：
2018-12-26 22:20:16
阅读次数：
254
爬虫的定义 什么是爬虫？ 爬虫(又被称为网页蜘蛛，网络机器人)就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上，只要是浏览器(客户端)能做的事情，爬虫都能够做。 爬虫的分类和爬虫的流程 爬虫的分类 爬虫的分类 根据被爬网站的数量不同，我们把爬虫分为 ...
分类：
其他好文 时间：
2018-12-01 21:48:58
阅读次数：
186
简单学习了python爬虫之后，我们就可以嘿咻嘿咻了...因为平时就是用网易云听的歌，也喜欢看歌里的评论，所以就爬网易云音乐评论吧！正式进入主题首先还是去找目标网页并开始分析网页结构，如下上面的三个箭头都是所要找的数据，分别是评论用户，评论和点赞数，都可以用正则表达式找出来，接下来继续找怎样找到下一页的数据，还是用开发者工具，但是当点击下一页的时候，网页的url没有变，说明网页是动态加载，所以就不
分类：
编程语言 时间：
2018-11-30 11:32:00
阅读次数：
211
Alpha 冲刺 （1/10） ========== 队名：我头发呢队 杰（组长） 过去两天完成了哪些任务 查阅Python爬取音源的资料，如 Python3爬虫抓取网易云音乐热评实战 Python爬取高品质QQ音乐(2) 如何爬网易云音乐的评论数？ 发现其中最重要的就是获取加密的key，这可能和技 ...
分类：
其他好文 时间：
2018-11-13 02:36:29
阅读次数：
186
大数据时代下，数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，当你采集数据最起劲儿的时候，突然网页跳出403Forbidden的提示。所以在爬取数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题，太阳HTTP服务应运而生。让我们先来看一下你所遭遇的
分类：
其他好文 时间：
2018-11-11 17:58:08
阅读次数：
202
