抓取远程内容，之前一直都在用file_get_content函数，其实早就知道有curl这么一个好东西的存在，但是看了一眼后感觉使用颇有些复杂，没有file_get_content那么简单，再就是需求也不大，所以没有学习使用curl。 直到最近，要做一个网页小偷程序的时候才发现file_get_co ...
分类：
Web程序 时间：
2016-07-13 20:27:15
阅读次数：
175
curl常用的几个例子 1、抓取无访问控制文件 2、使用代理进行抓取 3、post数据后，抓取数据 4、抓取一些有页面访问控制的页面 5、模拟登录 6、文件上传 7、文件流上传 ...
分类：
Web程序 时间：
2016-06-23 00:47:14
阅读次数：
205
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。
首先先要回答一个问题。
问：把网站装进爬虫里，...
分类：
编程语言 时间：
2016-06-21 07:30:58
阅读次数：
227
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。 Scrapy使用了Twisted异步网络库来处理网络通讯 ...
分类：
编程语言 时间：
2016-06-18 15:34:35
阅读次数：
316
参考地址：http://www.cnblogs.com/zhengbing/p/3459249.html ...
分类：
编程语言 时间：
2016-06-04 17:40:39
阅读次数：
218
scrapy-redis使用的爬虫策略： Slaver端从Master端拿任务进行数据抓取，在抓取数据的同时也生成新任务，并将任务抛给Master。Master端负责对Slaver提交的任务进行去重、加入待爬队列。 scrapy-redis在处理分布式时，会在redis中创建两个key，一个是(sp ...
分类：
其他好文 时间：
2016-05-19 16:27:49
阅读次数：
362
1. 主角出场：Hawk介绍
Hawk是沙漠之鹰开发的一款数据抓取和清洗工具，目前已经在Github开源。详细介绍可参考：http://www.cnblogs.com/buptzym/p/5454190.html，强烈建议先读这篇文章，该文介绍了详细原理和抓取链家二手房的攻略，以此为基础，才能较好的理解整个操作。
本文将讲解通过本软件，获取大众点评的所有美食数据，可选择任一城市，也可以...
分类：
其他好文 时间：
2016-05-18 18:31:05
阅读次数：
165
原文地址：http://blog.chinaunix.net/uid-22414998-id-3692113.html?page=3 数据抓取是一门艺术，和其他软件不同，世界上不存在完美的、一致的、通用的抓取工具。为了不同的目的，需要定制不同的代码。不过，我们不必Start from Scratch ...
分类：
其他好文 时间：
2016-05-15 02:22:11
阅读次数：
179
原文地址：http://blog.chinaunix.net/uid-22414998-id-3695673.html 续前文：《数据抓取的艺术（一）：Selenium+Phantomjs数据抓取环境配置》。程序优化：第一步开始： for i in range(startx,total): for ...
分类：
其他好文 时间：
2016-05-15 02:18:21
阅读次数：
197
