WebMagic WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。 采用HttpClient可以实现定向的爬虫,也可以自己编写算法逻辑来实现多线程,创建链接池,自动解析网页代码获取请求链接,封装正则表达式等等。 但是如果使用框架,就不再 ...
分类:
编程语言 时间:
2017-04-24 17:14:47
阅读次数:
654
G - Asteroids! Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d & %I64u Submit Status Description You're in space. You want to get home. T ...
分类:
其他好文 时间:
2017-04-14 20:29:35
阅读次数:
198
这次一个学长出题....结果我把dij写成了大顶的,就说复杂度那么科学怎么T了.........真的丢人 A.给定一个长度为n的序列,你要求出从那个位置开始连续数n个数,得到的序列最大(先比第一位,再第二位..)。n<=2000000 题解:第一眼想到的是可以把每个数拆开来计数排序+dc3后缀数组, ...
分类:
其他好文 时间:
2017-03-17 00:32:35
阅读次数:
214
Raft 算法是可以用来替代 Paxos 算法的分布式一致性算法,而且 raft 算法比 Paxos 算法更易懂且更容易实现。本文对 raft 论文进行翻译,希望能有助于读者更方便地理解 raft 的思想。如果对 Paxos 算法感兴趣,可以看我的另一篇文章:分布式系列文章——Paxos算法原理与推 ...
分类:
编程语言 时间:
2017-03-14 12:09:27
阅读次数:
283
var draftTimeV = "Fri Mar 10 09:44:48 CST 2017"; <!-- 示例 --> //核心代码 state draftTimeV = draftTimeV + ""; var date = ""; var month = new Array(); month[ ...
分类:
Web程序 时间:
2017-03-10 10:47:19
阅读次数:
161
转自:http://www.cnblogs.com/mindwind/p/5231986.html Raft 协议的易理解性描述 虽然 Raft 的论文比 Paxos 简单版论文还容易读了,但论文依然发散的比较多,相对冗长。读完后掩卷沉思觉得还是整理一下才会更牢靠,变成真正属于自己的。这里我就借助前 ...
分类:
编程语言 时间:
2017-02-17 10:09:25
阅读次数:
313
一致性问题 一致性算法是用来解决一致性问题的,那么什么是一致性问题呢? 在分布式系统中,一致性问题(consensus problem)是指对于一组服务器,给定一组操作,我们需要一个协议使得最后它们的结果达成一致. 更详细的解释就是,当其中某个服务器收到客户端的一组指令时,它必须与其它服务器交流以保 ...
分类:
编程语言 时间:
2017-02-17 09:56:34
阅读次数:
205
一、应用场景 (1)报表的数据内容需要根据某个参数进行过滤。 (2)该参数是一个多值参数,即从一个下拉列表中选择一个或多个项目。 (3)报表需要自动运行,因此参数必须有默认值。 (4)参数默认值无法在设计报表时就确定下来。 二、实现方案 问题的核心是:报表自动运行是无人值守的,没有人机交互的机会,因 ...
分类:
Web程序 时间:
2017-01-04 11:55:43
阅读次数:
253
随承载用户数量的增加和容灾的需要,越来越多互联网后台系统从单机模式切换到分布式集群。回顾自己毕业五年来的工作内容,同样有这样的转变。 毕业头两年负责维护运行在刀片机上的业务,在机房里拔插单板的日子是我逝去的青春。设备之间通过VCS组成冷备,但即使有双机软件保护,宕机、网络丢包等问题发生时业务仍会受影 ...
分类:
其他好文 时间:
2017-01-01 07:47:04
阅读次数:
233
一、简介 “A highly-available key value store for shared configuration and service discovery.” Etcd是coreos开发的分布式服务系统,内部采用raft协议作为一致性算法。作为一个高可用的配置共享、服务发现的键值 ...
分类:
其他好文 时间:
2016-12-30 16:59:30
阅读次数:
1562