Scarpy 命令行工具 一、Scarpy 全局命令 scrapy startproject project_name (创建项目) scrapy crawl xx (运行xxspider文件) scrapy shell http://www.scrapyd.cn (调试网址为http:www.sc ...
分类:
其他好文 时间:
2019-04-30 11:03:37
阅读次数:
148
一 配置文件scrapy.cfg 1 全局配置文件路径 盘符: ... \scrapy\scrapy 2 项目配置文件 配置文件的优先级别: 用户定义的配置文件优先级别高于系统范围的默认值. 二 创建醒目的基本命令 三 命令分类 全局命令 startproject #创建项目 genspider # ...
分类:
其他好文 时间:
2019-04-26 00:29:43
阅读次数:
147
前言 Redis 提供了 5 种数据结构。理解每种数据结构的特点,对于 Redis 的 开发运维 非常重要,同时掌握 Redis 的 单线程命令处理 机制,会使 数据结构 和 命令 的选择事半功倍。 接下来的几篇文章,将从如下几个方面介绍 Redis 的几种数据结构,命令使用及其应用场景。 预备知识 ...
分类:
其他好文 时间:
2019-04-24 16:05:28
阅读次数:
145
1、总结vim命令行模式常见快捷方式,以及vim查找,替换的方法dd:删除光标所在的行#dd:多行删除yy:复制行#yy:复制多行p:粘贴当前光标行所在行的下方P:粘贴当前光标所在处的前面cc:删除当前行并输入新内容C:删除当前光标到行尾,并切换成插入模式/PATTERN:从当前光标所在处向文件尾部查找?PATTERN:从当前光标所在处向文件首部查找n:与命令同方向N:与命令反方向在扩展模式下完成
分类:
系统相关 时间:
2019-04-08 01:03:10
阅读次数:
175
介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。 但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Ass ...
分类:
其他好文 时间:
2019-03-12 21:07:22
阅读次数:
185
1.创建一个新项目: scrapy startproject myproject 2.在新项目中创建一个新的spider文件: scrapy genspider mydomain mydomain.com mydomain为spider文件名,mydomain.com为爬取网站域名 3.全局命令: ...
分类:
其他好文 时间:
2019-01-13 22:22:26
阅读次数:
258
最近没事,学习了一下 node,觉得 http server 这个静态服务很神奇,突发奇想,自己也来实现这么一个静态服务试试。我暂且起名为 static server。 1. 初始化项目: 2. 将命令映射成全局命令 A、首先在 static server 根目录下新建 bin 文件夹,再在 bin ...
分类:
Web程序 时间:
2019-01-11 18:01:15
阅读次数:
183
redis有5中数据结构,他们是键值对中的值,对于键来说,有一些通用的命令: 一、查看所有键 keys 二、获取键总数:dbsize 三、检查键是否存在 exists 如果存在返回1,不存在返回0 四、删除键 del key [key ……] 正常情况下返回结果为删 ...
分类:
其他好文 时间:
2019-01-01 22:42:42
阅读次数:
235
一、全局命令 1、keys * 查看所有键 时间复杂度为O(n),线上环境禁止使用 2、dbsize 查看键总数 3、rpush 插入一个列表类型的键值对 rpush mylist a b c d 4、exists key 查看键是否存在,如果存在返回1,不存在返回0 5、del key [key ...
1.在 vue中如果我们使用基于vue.js编写的插件,我们可以使用Vue.use() 如在main.js中: 2.添加全局命令,让每个vue单文件组件都可以使用到: 第一步:最好建一个全局的命令文件:如directive/directive.js 第二部:利用Vue.directive()建立一个 ...
分类:
其他好文 时间:
2018-11-22 13:15:41
阅读次数:
229