pyspider想删除项目,默认是组名改为delete后如果状态为stop状态，24小时后项目会被系统删除．这样很困扰,直接正题修改删除的时间。创建一个config.json"delete-time":10删除项目时间设置10秒{"scheduler":{
"delete-time":10
},
"webui":{
"username":"adin",
"password":"admi..
分类：
其他好文 时间：
2017-07-13 16:26:26
阅读次数：
195
直接官网下载http://phantomjs.org/download.html我的环境是64位：https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2解压下文件
root@ubuntu:~#wgethttps://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.b..
分类：
Web程序 时间：
2017-07-07 19:59:29
阅读次数：
1884
1 #!/usr/bin/env python 2 # -*- encoding: utf-8 -*- 3 # Created on 2017-06-11 10:10:53 4 # Project: london 5 6 from pyspider.libs.base_handler import ... ...
分类：
其他好文 时间：
2017-06-11 16:30:34
阅读次数：
257
1.下载whl文件： http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 2.安装该文件 3.可能碰到问题，pip的版本低了，需要更新一下pip的版本。更新pip版本命令: 4.更新完成后，再次使用pip命令: 5.安装pyspider： 6.运行pysp ...
今天，在Ubuntu16.04上安装pyspider，遇到权限不够的问题，发现在安装anaconda3的时候，文件夹的拥有者是root。作为新手只有寻找如何更改文件夹的拥有者，或者修改文件夹的权限。 Ubuntu中有两个修改命令可以用到，「change mode」&「change owner」 即c ...
分类：
系统相关 时间：
2017-04-04 20:54:52
阅读次数：
180
爬虫的终极形态：nightmare nightmare 是一个基于 electron 的自动化库（意思是说它自带浏览器），用于实现爬虫或自动化测试。相较于传统的爬虫框架（scrapy/pyspider），或者dom操作库（cheerio/jsdom），或者基于浏览器的自动化框架（selenium/p ...
分类：
Web程序 时间：
2017-02-21 00:41:24
阅读次数：
247
关于 首先，在此附上项目的地址，以及官方文档 PySpider 官方文档 安装 1. pip 首先确保你已经安装了pip，若没有安装，请参照 pip安装 2. phantomjs PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持 ...
分类：
编程语言 时间：
2017-02-08 22:52:22
阅读次数：
290
Ubuntu 14.04.4 LTS 1.ubuntu 系统自带Python 所以不用安装Python 注：安装前先更新下软件源 命令 ：sudo apt-get update 2.开始安装pip 命令：sudo apt-get install python-pip 安装成功后升级下pip 确保pi ...
分类：
系统相关 时间：
2016-12-19 14:21:21
阅读次数：
268
直接copy官网实例会出现599的错误，百度了很久发现是因为证书的问题 添加这一句忽略证书 validate_cert = False 代码如下： +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #!/usr/bin/e ...
分类：
其他好文 时间：
2016-12-06 13:21:56
阅读次数：
491
