HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类:
其他好文 时间:
2014-05-27 17:39:15
阅读次数:
328
本文介绍一个简单的多线程并发爬虫,这里说的简单是指爬取的数据规模不大,单机运行,并且不使用数据库,但保证多线程下的数据的一致性,并且能让爬得正起劲的爬虫停下来,而且能保存爬取状态以备下次继续。
分类:
编程语言 时间:
2014-05-26 15:41:47
阅读次数:
394
本文介绍一个简单的多线程并发爬虫,这里说的简单是指爬取的数据规模不大,单机运行,并且不使用数据库,但保证多线程下的数据的一致性,并且能让爬得正起劲的爬虫停下来,而且能保存爬取状态以备下次继续。
爬虫实现的步骤基本如下:分析网页结构,选取自己感兴趣的部分;建立两个Buffer,一个用于保存已经访问.....
分类:
编程语言 时间:
2014-05-26 13:13:56
阅读次数:
318
基础问题项目中实现了哪些模块。以及怎么实现的。有没有做数据库的优化。写过多少行代码。程序实现1.字符串中单词逆转2.7个不同数中选3个数组合。用递归实现系统架构一个系统用来更新数据库,一个系统同来缓存数据库用来快速获取数据。如何保证缓存和数据库系统的一致性。数据库很大,上亿数据思路:增量更新。方法:...
分类:
其他好文 时间:
2014-05-26 11:32:39
阅读次数:
276
条款18:让接口容易被正确使用,不易被误用
1,好的接口很容易被正确使用,不容易被误用。你应该在你的所有接口中努力达成这些性质。
2,“促进正使用”的办法包括接口的一致性,以及与内置类型的行为兼容。
3,“阻止误用”的办法包括建立新类型,限制类型上的操作,束缚对象值,以及消除客户的资源管理责任。
4,shared_ptr支持定制型删除器。这可以防范DLL问题,可以用来自动解...
分类:
编程语言 时间:
2014-05-25 18:22:08
阅读次数:
297
Hadoop的分布式文件系统(HDFS)是Hadoop的很重要的一部分,本文先简单介绍HDFS的几个特点,然后再分析背后的原理,即怎样实现这种特点的。
HDFS特点
1、高容错性。这是HDFS最核心的特性了,把大量数据部署在便宜的硬件上,即使其中某些磁盘出现故障,HDFS也能很快恢复丢失的数据。
2、简单一致性。这个的意思是HDFS适合一次写入,多次读取的程序,文件写入后,就不需要修改了。像...
分类:
其他好文 时间:
2014-05-25 01:02:09
阅读次数:
285
触发器是特定事件出现的时候,自动执行的代码块。类似于存储过程,但是用户不能直接调用他们。功能:1、允许/限制对表的修改2、自动生成派生列,比如自增字段3、强制数据一致性4、提供审计和日志记录5、防止无效的事务处理6、启用复杂的业务逻辑开始createtriggerbiufer_employ..
分类:
数据库 时间:
2014-05-24 15:46:01
阅读次数:
376
1 创建Ring 代码详细分析
在OpenStack_Swift——Ring组织架构中我们详细分析了Ring的具体工作过程,下面就Ring中增加设备,删除设备,已经重新平衡的实现过程作详细的介绍。
首先看RingBuilder类 def __init__(self, part_power, replicas, min_part_hours):
#why 最大 2**32
...
分类:
其他好文 时间:
2014-05-23 01:50:35
阅读次数:
406
在实际对数据库的使用中,会出现多个用户同时对某一张表进行操作,当多个用户在同一时间对同一张数据表进行读取或者修改操作时,若处理不当就有可能发生冲突问题。为了解决这样的问题,就需要使用事务的控制和管理机制。
事务
单个逻辑工作单元执行操作的集合,也可以看作是多条语句封装的结果。通过事务可以保证数据表中数据的一致性。
事务的特性...
分类:
数据库 时间:
2014-05-22 18:31:55
阅读次数:
421
[转自]:http://my.oschina.net/chape/blog/132533目录[-]哈希表的原理与实现一致性
hash 算法基本场景hash算法和单调性consistent
hashing算法的原理虚拟节点小结分布式哈希算法哈希函数哈希表分布式哈希表哈希表的工作原理与常用操作基础操作应...
分类:
其他好文 时间:
2014-05-21 11:42:14
阅读次数:
412