世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总，如下表所示。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。开源爬虫汇总表开发语言软件名称软件介绍许可证JavaArach...
分类：
其他好文 时间：
2014-07-10 12:57:25
阅读次数：
489
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
yangyzhPython中dict详解python3.0以上，print函数应为print（），不存在dict.iteritems()这个函数。在python中写中文注释会报错，这时只要在头部加上# coding=gbk即可#字典的添加、删除、修改操作dict = {"a" : "apple", ...
分类：
编程语言 时间：
2014-07-07 22:49:30
阅读次数：
261
参考了各位大大的，然后自己写了个爬虫用到的modules：utils.js --- momentmodule_url.js var http = require("http"); //获得页面数据 var cheerio = require("cheerio")...
分类：
Web程序 时间：
2014-06-27 19:58:25
阅读次数：
278
[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置Bootstrap 前端页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...二、Django 开发环境搭建及配置1. 开发环境 开发环境依然是Windows，可以开发的dj....
分类：
Web程序 时间：
2014-06-27 18:12:23
阅读次数：
295
一.目的。
在教程（二）（http://blog.csdn.net/u012150179/article/details/32911511）中使用基于Spider实现了自己的w3cschool_spider，并在items.py中定义了数据结构，
在pipelines.py中实现获得数据的过滤以及保存。
但是以上述方法只能爬取start_url列表中的网页，而网络爬虫如google等搜索引擎...
分类：
Web程序 时间：
2014-06-27 09:37:22
阅读次数：
15554
1.性能Py3.0运行 pystone benchmark的速度比Py2.5慢30%。Guido认为Py3.0有极大的优化空间，在字符串和整形操作上可以取得很好的优化结果。Py3.1性能比Py2.5慢15%，还有很大的提升空间。2.编码Py3.X源码文件默认使用utf-8编码，这就使得以下代码是合法...
分类：
编程语言 时间：
2014-06-26 20:47:42
阅读次数：
230
[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置Bootstrap 前端页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...一、扯淡吹逼之开发前奏 终于答辩完了，实在没什么事，作为一个死宅到底的码农，只有呆在宿舍写程序玩....
分类：
Web程序 时间：
2014-06-26 18:17:01
阅读次数：
339
当前linux发行版python版本默认基本上都是2.7的，如果系统中有了python3.0以后的，或者自己安装了python3.3，但是用pip或者easy_install安装python3的module并不很方面，使用virtualenv就方便多了，安装pypy环境较好的办法也是用virtu.....
分类：
其他好文 时间：
2014-06-25 11:22:42
阅读次数：
305
