#!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2015-03-20 09:46:20 # Project: fly_spider import re import time #from pyspider.database.m...
分类：
其他好文 时间：
2015-09-30 16:18:59
阅读次数：
150
几篇不错的关于蜘蛛程序的教程，转录一下： pyspider 爬虫教程（一）：HTML 和 CSS 选择器 pyspider 爬虫教程（二）：AJAX 和 HTTP pyspider 爬虫教程（三）：使用 PhantomJS 渲染带 JS 的页面
分类：
其他好文 时间：
2015-09-20 10:27:21
阅读次数：
137
注意，虽然在本文中会涉及调度策略等内容，但实际执行效果取决于具体策略实现。 project 脚本分为不同的 project，不同的 project 之间的任务互相独立，建议为不同的站点建立不同的 project project 属性 group – 分组标识，暂时仅用于区分 name – 脚本的名字...
分类：
其他好文 时间：
2015-05-23 18:06:12
阅读次数：
1458
Pyspider爬虫教程 一、安装 1、 安装pip （1）准备工作 yum install –y make gcc-c++ python-devel libxml2-devel libxslt-devel （2）安装setuptools https://pypi.python.org/pypi/s...
分类：
其他好文 时间：
2015-05-23 15:34:43
阅读次数：
388
今天折腾了一天，安装pyspider，由于依赖包众多，而且搜索到所有信息多是在linux平台和mac平台下的安装教程。可怜我试了n多版本，一直不成功。最后发现有人说python的版本，不能低于2.7.6,否则pycurl无法安装成功，一查我的是2.7.2. 好吧，卸载，重新安装python2.7.6...
分类：
编程语言 时间：
2015-04-19 21:09:19
阅读次数：
189
本篇文章的目的有两个：
1.记录搭建爬虫环境的过程
2.总结爬虫项目的心得体会
一、系统环境
该方案在32位ubuntu10.04和64位centos6.9上面测试通过，所需要用到的软件如下：
1.ubuntu10.04或者centos6.9任选其一，下文主要以centos6.9来说明
2.pyspider源代码，可以从这里下载到http://download.csdn.net/detail...
分类：
编程语言 时间：
2015-04-10 20:13:53
阅读次数：
1345
PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用 Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。在线示 例：http://...
分类：
Web程序 时间：
2015-04-03 11:41:02
阅读次数：
212
如果mac下没有安装wget，还需要安装wget，见http://www.cnblogs.com/cocowool/archive/2012/06/24/2560574.html使用 pip 安装 Python 库。pip 是 Python 的包管理工具，安装后就可以直接在命令行一站式地安装/管理各...
分类：
编程语言 时间：
2015-03-13 18:28:34
阅读次数：
15966
