什么叫做分布式爬虫? 分布式爬虫,就是多台机器共用一个scrapy—redis程序高效爬取数据, 为啥要用分布式爬虫? 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的url。(多台机器无法共享同一个调度器) 其二:多台机器爬取到的 ...
分类:
其他好文 时间:
2019-10-09 23:47:49
阅读次数:
104
随机生成10位数字:date +%N%N | cut -c '1-10'uuidgen | tr 'a-z-' '0-9' | cut -c 1-10随机生成10位字母:date +%N%N | cut -c 1-10 | tr '0-9' 'a-z'uuidgen | tr '0-9-' 'a-z ...
分类:
其他好文 时间:
2019-10-09 16:02:09
阅读次数:
197
国内公司1、AVOS Cloud获得IDG资本A轮投资AVOS Cloud(https://www.avoscloud.com)成立于2012年,是一个面向开发者的移动BaaS服务商和移动服务端整体解决方案提供商,为移动应用开发者提供稳定可依赖的后端云服务,包括存储、账号管理、社交分享、推送等以及相... ...
分类:
其他好文 时间:
2019-10-08 00:57:00
阅读次数:
206
这我们的环境已经安装了python 3.7.1解释器和sublime text 3 编辑器 一、package control 安装 Preferences——> Package Settings——>Package Control——>Settings-user,并添加如图所示代码 ? "chan ...
分类:
编程语言 时间:
2019-10-06 16:52:07
阅读次数:
93
Form组件归类 一、Form类 创建Form类时,主要涉及到 【字段】 和 【插件】,字段用于对用户请求数据的验证,插件用于自动生成HTML; 1、Django内置字段如下: 1 Field 2 required=True, 是否允许为空 3 widget=None, HTML插件 4 label ...
分类:
其他好文 时间:
2019-10-04 11:25:39
阅读次数:
66
Django Admin的相关知识 一、面向对象复习 1、类的继承 class Base(object): def __init__(self,val): self.val = val def func(self): self.test() print(self.val) def test(self ...
分类:
其他好文 时间:
2019-10-04 11:11:21
阅读次数:
63
1.说一下你熟悉的设计模式? 根据自身情况而定 下面列出一些类型的设计模式一共参考 创建型:Abstract Factory(抽象工厂模式),Builder(建造者模式),Factory Method(工厂方法模式),Prototype(原始模型模式),Singleton(单例模式);结构型:Fac ...
分类:
编程语言 时间:
2019-09-20 00:03:49
阅读次数:
176
定义 属性(Attribute): 表的每一列具有固定的属性类别。 如姓名(Name)、年龄(Age)、地址(Address)、电话号码(PhoneNumber)等。 域(Domain): 每个属性所限定的数据类型及其取值范围。 常用的域有字符串(STRING)、日期(DATE)、整型数(INT)等 ...
分类:
数据库 时间:
2019-09-13 15:43:40
阅读次数:
127
目录 一、引言 一、引言 小说家和剧本作家很少从头开始设计剧情,他们都是沿袭一些业已存在的模式。同样,面向对象的设计人员也需要沿袭一些模式,这样,就能很快找到解决问题的合适方法了。 1、什么是设计模式 设计模式的每一个模式都描述了一个在我们周围不断重发发生的问题,以及该问题的解决方案的核心。这样,你 ...
分类:
其他好文 时间:
2019-09-10 12:59:58
阅读次数:
76