本来今天要继续更新 scrapy爬取美女图片 系列文章，可是发现使用免费的代理ip都非常不稳定，有时候连接上，有时候连接不上，所以我想找到稳定的代理ip，下次再更新 scrapy爬取美女图片之应对反爬虫 文章。 好了，废话不多说，咱们进入今天的主题。这一篇文章是关于爬取盗墓笔记，主要技术要点是scr ...
分类：
编程语言 时间：
2016-06-06 18:37:19
阅读次数：
412
反爬虫策略，表面上看似乎跟WEB系统优化没有关系，经过分析，发现该策略是可以归到WEB性能优化的系列之中。 通过分析apache日志发现，某系统40%的带宽和服务器资源都消耗在爬虫上，如果除去10%-15%搜索引擎的爬虫，做好反爬虫策略，能节省20%-25%的资源，其实是变向优化了web系统。 一、 ...
分类：
Web程序 时间：
2016-06-04 16:18:16
阅读次数：
234
煎蛋网在反爬虫方面做了不少工作，无法通过正常的方式爬取，比如用下面这段代码爬取无法得到我们想要的源代码。 执行上述代码，你得到的结果应该跟我一样： 煎蛋网应该是通过检测headers来判断是否爬虫，要想获取正常的源代码，需要伪装成浏览器。 当然，这个爬虫脚本也不是永久有效，说不定哪天煎蛋就出新招了， ...
分类：
其他好文 时间：
2016-05-17 13:03:15
阅读次数：
232
系列教程：手把手教你写电商爬虫-第一课找个软柿子捏捏手把手教你写电商爬虫-第二课实战尚妆网分页商品采集爬虫手把手教你写电商爬虫-第三课实战尚妆网AJAX请求处理和内容提取手把手教你写电商爬虫-第四课淘宝网商品爬虫自动JS渲染四节课过去了，咱们在爬虫界也都算见过世面的..
分类：
其他好文 时间：
2016-05-17 01:11:16
阅读次数：
302
系列教程： 手把手教你写电商爬虫-第一课 找个软柿子捏捏 手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫 手把手教你写电商爬虫-第三课 实战尚妆网AJAX请求处理和内容提取 手把手教你写电商爬虫-第四课 淘宝网商品爬虫自动JS渲染 四节课过去了，咱们在爬虫界也都算见过世面的人，现在再来一些 ...
分类：
其他好文 时间：
2016-05-16 19:49:08
阅读次数：
165
网站的反爬虫策略： 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度 ...
分类：
编程语言 时间：
2016-04-30 01:00:42
阅读次数：
588
0x01 常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的He... ...
分类：
其他好文 时间：
2016-04-25 13:06:20
阅读次数：
146
http://www.36dsj.com/archives/40809 在我们的对2016年大数据行业的预测文章《2016年大数据将走下神坛拥抱生活 资本青睐创业机会多》里，我们曾经提到“在2016年，防止网站数据爬取将变成一种生意。”。今天我找到了来自”BSDR“的一篇文章，文章里主要介绍了常见的
分类：
Web程序 时间：
2016-02-15 14:42:08
阅读次数：
161
这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网
分类：
Web程序 时间：
2016-02-04 19:05:14
阅读次数：
206
因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。 一些智能的搜索引擎爬虫的爬
分类：
Web程序 时间：
2016-02-04 18:55:03
阅读次数：
277
