1.什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到资源，那么它就会抓取下来。想抓取什么，就靠你自己去控制它。 比如它在抓取一个网页，在这个网中它发现了一条道路，其实就是指向网页的超链接，那么它就可以爬虫另一张网 ...
分类：
编程语言 时间：
2016-05-22 21:29:14
阅读次数：
173
近年来，随着网络不断的发展，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，在这里，我们向各位读者们推荐几本关于学习Python爬虫的书籍。
分类：
编程语言 时间：
2016-05-18 15:56:22
阅读次数：
731
python爬虫实战——图片自动下载器之前介绍了那么多基本知识【Python爬虫】入门知识，大家也估计手痒了。想要实际做个小东西来看看，毕竟：
talk is cheap show me the code!
制作爬虫的基本步骤顺便通过这个小例子，可以掌握一些有关制作爬虫的基本的步骤。一般来说，制作一个爬虫需要分以下几个步骤：1. 分析需求（对，需求分析非常重要，不要告诉我你老师没教你）
2....
分类：
编程语言 时间：
2016-04-19 19:45:27
阅读次数：
278
python系列均基于python3.4环境 基本概念 html.parser的核心是HTMLParser类。工作的流程是：当你feed给它一个类似HTML格式的字符串时，它会调用goahead方法向前迭代各个标签，并调用对应的parse_xxxx方法提取start_tag,tag,data,com ...
分类：
编程语言 时间：
2016-03-31 14:31:43
阅读次数：
338
转自：http://cuiqingcai.com/947.html 那么接下来，小伙伴们就一起和我真正迈向我们的爬虫之路吧。 1.分分钟扒一个网页下来 怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HT
分类：
编程语言 时间：
2016-02-29 21:36:44
阅读次数：
222
转自：http://cuiqingcai.com/927.html 大家好哈，最近博主在学习Python，学习期间也遇到一些问题，获得了一些经验，在此将自己的学习系统地整理下来，如果大家有兴趣学习爬虫的话，可以将这些文章作为参考，也欢迎大家一共分享学习经验。 Python版本:2.7，Python
分类：
编程语言 时间：
2016-02-29 21:18:07
阅读次数：
200
年前写了验证码上篇，本来很早前就想写下篇来着，只是过年比较忙，还有就是验证码破解比较繁杂，方法不同，正确率也会有差异，我一直在找比较好的方案，但是好的方案都比较专业，设涉及到了图形图像处理这些，我也是一知半解，所以就耽误了下来，在此对一直等待的同学说声抱歉。有兴趣的同学可以自行看看这方面的资料。因为
分类：
编程语言 时间：
2016-02-29 12:37:17
阅读次数：
340
本篇主要讲述验证码的验证流程，包括如何验证码的实现、如何获取验证码、识别验证码（这篇是人来识别，机器识别放在下篇）、发送验证码。同样以一个例子来说明。目标网址 http://icp.alexa.cn/index.php（查询域名备案信息） 1.验证码的实现： 简单的说，验证码就是一张图片，图片上有字
分类：
编程语言 时间：
2016-01-29 12:06:48
阅读次数：
246
写爬虫之前，首先要明确爬取的数据。然后，思考从哪些地方可以获取这些数据。下面以一个实际案例来说明，怎么寻找一个好的爬虫策略。（代码仅供学习交流，切勿用作商业或其他有害行为） 1).方式一：直接爬取网站 目标网址：http://chanyouji.com/ 注意：这个网站会拦截IP，访问次数过多...
分类：
编程语言 时间：
2016-01-27 12:21:31
阅读次数：
214
上一节，大概讲述了Python 爬虫的编写流程， 从这节开始主要解决如何突破在爬取的过程中限制。比如，IP、JS、验证码等。这节主要讲利用IP代理突破。 1.关于代理 简单的说，代理就是换个身份。网络中的身份之一就是IP。比如，我们身在墙内，想要访问google、u2b、fb等，直接访问是4...
分类：
编程语言 时间：
2016-01-25 13:02:43
阅读次数：
425
