之前我们的爬虫都是单机爬取，也是单机维护REQUEST队列， 看一下单机的流程图： 一台主机控制一个队列，现在我要把它放在多机执行，会产生一个事情就是做重复的爬取，毫无意义，所以分布式爬虫的第一个难点出来了，共享请求队列，看一下架构： 三台主机由一个队列控制，意味着还需要一个主机来控制队列，我们一般 ...
分类：
编程语言 时间：
2018-02-21 15:48:14
阅读次数：
218
计划按例如以下顺序完毕这篇笔记： Java程序猿的JavaScript学习笔记（1——理念） Java程序猿的JavaScript学习笔记（2——属性复制和继承） Java程序猿的JavaScript学习笔记（3——this/call/apply） Java程序猿的JavaScript学习笔记（4— ...
分类：
编程语言 时间：
2018-02-21 15:48:05
阅读次数：
171
jQuery 滑动方法可使元素上下滑动。 点击这里，隐藏/显示面板 一寸光阴一寸金，因此，我们为您提供快捷易懂的学习内容。 在这里，您可以通过一种易懂的便利的模式获得您需要的任何知识。 一寸光阴一寸金，因此，我们为您提供快捷易懂的学习内容。 在这里，您可以通过一种易懂的便利的模式获得您需要的任何知识 ...
分类：
Web程序 时间：
2018-02-21 15:47:58
阅读次数：
178
import stringstr = 'abcde' list = list(str)list['a', 'b', 'c', 'd', 'e']str'abcde'str_convert = ''.join(list)str_convert'abcde' ...
分类：
其他好文 时间：
2018-02-21 15:47:52
阅读次数：
169
官方的MongoDB的文档中说明，覆盖查询是以下的查询： 所有的查询字段是索引的一部分 所有的查询返回字段在同一个索引中 由于所有出现在查询中的字段是索引的一部分， MongoDB 无需在整个数据文档中检索匹配查询条件和返回使用相同索引的查询结果。 因为索引存在于RAM中，从索引中获取数据比通过扫描 ...
分类：
数据库 时间：
2018-02-21 15:04:00
阅读次数：
157
考虑以下文档集合（users ）: 以上文档包含了 address 子文档和 tags 数组。 索引数组字段 假设我们基于标签来检索用户，为此我们需要对集合中的数组 tags 建立索引。 在数组中创建索引，需要对数组中的每个字段依次建立索引。所以在我们为数组 tags 创建索引时，会为 music、 ...
分类：
数据库 时间：
2018-02-21 15:03:52
阅读次数：
157
edis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。 String（字符串） string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。 strin ...
分类：
其他好文 时间：
2018-02-21 15:03:45
阅读次数：
145
正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。 许多程序设计语言都支持利用正则表达式进行字符串操作。 MongoDB 使用 $regex 操作符来设置匹配字符串的正则表达式。 MongoDB使用PCRE (Perl Compatible Regular Expression) ...
分类：
数据库 时间：
2018-02-21 15:03:38
阅读次数：
167
全文检索对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。 这个过程类似于通过字典中的检索字表查字的过程。 MongoDB 从 2.4 版本开始支持全文检索，目前支持15种语言(暂时不支持中文)的全文索引 ...
分类：
数据库 时间：
2018-02-21 15:03:29
阅读次数：
173
变量 变量就是变化的量 变量的赋值过程>>> Name = 'zhang'>>> Age = 20>>> print (Name,Age)zhang 20加引号为字符串，不加字符串为变量>>> name,age('zhang', 18)变量起名：1.显式2.起名通俗易懂3.不能以数字开头4.不能以点 ...
分类：
其他好文 时间：
2018-02-21 15:03:07
阅读次数：
165
Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型 ...
分类：
其他好文 时间：
2018-02-21 15:03:01
阅读次数：
142
一、ModelForm的介绍 ModelForm a. class Meta: model, # 对应Model的 fields=None, # 字段 exclude=None, # 排除字段 labels=None, # 提示信息 help_texts=None, # 帮助提示信息 widgets ...
分类：
其他好文 时间：
2018-02-21 15:02:52
阅读次数：
243
ObjectId 是一个12字节 BSON 类型数据，有以下格式： 前4个字节表示时间戳 接下来的3个字节是机器标识码 紧接的两个字节由进程id组成（PID） 最后三个字节是随机数。 MongoDB中存储的文档必须有一个"_id"键。这个键的值可以是任何类型的，默认是个ObjectId对象。 在一个 ...
分类：
数据库 时间：
2018-02-21 15:02:44
阅读次数：
189
额外开销 每个索引占据一定的存储空间，在进行插入，更新和删除操作时也需要对索引进行操作。所以，如果你很少对集合进行读取操作，建议不使用索引。 内存(RAM)使用 由于索引是存储在内存(RAM)中,你应该确保该索引的大小不超过内存的限制。 如果索引的大小大于内存的限制，MongoDB会删除一些索引，这 ...
分类：
数据库 时间：
2018-02-21 15:02:37
阅读次数：
171
MongoDB 引用有两种： 手动引用（Manual References） DBRefs DBRefs vs 手动引用 考虑这样的一个场景，我们在不同的集合中 (address_home, address_office, address_mailing, 等)存储不同的地址（住址，办公室地址，邮件 ...
分类：
数据库 时间：
2018-02-21 15:02:29
阅读次数：
167
具体实现过程见substitution of int from 1 to n 随机数算法知识： kitty的随机数算法博客； 蒙特卡洛法：统计实验法，大量模拟求概率，用于不可解析函数，或概率分布，的模拟与计算时 将所求解的问题同一定的概率模型相联系，用电子计算机实现统计模拟或抽样，以获得问题的近似解 ...
分类：
编程语言 时间：
2018-02-21 15:02:23
阅读次数：
187
一、为什么会有跨域问题？ 是因为浏览器的同源策略是对ajax请求进行阻拦了，但是不是所有的请求都给做跨域，像是一般的href属性，a标签什么的都不拦截。 二、解决跨域问题的两种方式 JSONP CORS 三、JSONP 先简单来说一下JSONP，具体详细详见上面JSONP JSONP是json用来跨 ...
分类：
其他好文 时间：
2018-02-21 15:02:15
阅读次数：
174
