URL管理器模块 一般是用来维护爬取的url和未爬取的url已经新添加的url的，如果队列中已经存在了当前爬取的url了就不需要再重复爬取了，另外防止造成一个死循环。举个例子 我爬www.baidu.com 其中我抓取的列表中有music.baidu.om，然后我再继续抓取该页面的所有链接，但是其中 ...
分类：
编程语言 时间：
2018-06-12 21:00:55
阅读次数：
526
近期公司运营同学经常表示线上我们一个后台管理系统运行特别慢，而且经常出现504超时的情况。对于这种情况我们本能的认为可能是代码有性能问题，可能有死循环或者是数据库调用次数过多导致接口运行过慢。应领导要求，我们将主站中 ...
分类：
其他好文 时间：
2018-06-10 12:17:32
阅读次数：
1205
Python：函数递归 定义：在调用一个函数的过程中直接或间接的调用该函数本身，称之为递归调用。递归调用最多能调用999层。 基础模型： 虽然以上两中方式为函数递归的基础模型，但往往不能直接这样使用。因为没有一个函数的结束条件，仅仅相当于一个死循环。 递归分为两个重要的阶段: 递推+回溯 递推：函数 ...
分类：
编程语言 时间：
2018-06-10 12:03:12
阅读次数：
184
Channels也可以用于将多个goroutine连接在一起，一个Channel的输出作为下一个Channel的输入。这种串联的Channels就是所谓的管道（pipeline）。下面的程序用两个channels将三个goroutine串联起来： 第一个goroutine是一个计数器，用于生成0、1 ...
分类：
其他好文 时间：
2018-06-10 12:01:35
阅读次数：
155
1.依赖关系（在java中类似于delegation）：用虚线箭头表示 是类和类之间的一种关系。这种关系是单向的，如果为双向的就可能造成像多线程编程中的死锁现象，程序进入死循环。 2.关联：实线箭头表示 一个类关联一个类的话，就是在关联类中存在着一定的field存储被关联类，可以调用被关联类的所有属 ...
分类：
其他好文 时间：
2018-06-07 19:27:16
阅读次数：
217
之前有网友说想看架构师升级的文章，所以写了本文。先给本文中架构师做个定义：第一，能力上达到（似乎是废话），第二，公司肯承认，不仅能给架构师的头衔，更能按架构师的标准发工资。 对于程序员来说，架构师是职业发展的一道坎，如果跨过去了，后面就前途无量了，否则可能一直得做着代码coding的事情。本文将从“ ...
分类：
其他好文 时间：
2018-06-04 11:52:29
阅读次数：
206
流程图在项目实施的过程中的运用非常多，常见于需求分析或者方案设计，今天分享下流程图的实施规范 流程图绘制基本原则 流程图符号绘制顺序，应从上至下，从左到右的顺序 同一路径，指示箭头应该只有一个 流程图禁止死循环 流程图需以单一入口，单一出口特征绘制。开始符号只能出现一个，但是结束符号可以出现多次 相 ...
分类：
其他好文 时间：
2018-06-03 00:56:02
阅读次数：
180
递归：函数自身调用函数自身使用递归的前提是要有条件结束这个自身调用（不然会出现死循环） ...
分类：
其他好文 时间：
2018-06-01 15:28:10
阅读次数：
88
1.图的定义 1）线性表我们把数据元素叫做元素，树中将数据元素叫结点，在图中数据元素，我们则称之为顶点。 2）线性表中可以没有数据元素，称为空表。树中可以没有结点，叫做空树。再图结构中，不允许没有顶点。 3）线性表中，相邻的数据元素之间具有线性关系，树结构中，相邻两层的结点具有层次关系，而图中两个顶 ...
分类：
其他好文 时间：
2018-05-31 11:28:04
阅读次数：
136
为什么都说HashMap是线程不安全的呢?它在多线程环境下，又会发生什么情况呢？ resize死循环 我们都知道HashMap的初始容量是16，一般来说，当插入数据时，都会检查容量有没有超过设定的thredhold，如果超过容量，就需要增大Hash表的尺寸，但是这样一来，整个Hash表内的元素都需要 ...
分类：
其他好文 时间：
2018-05-31 10:38:57
阅读次数：
173
