Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢?
读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:
其他好文 时间:
2014-05-02 23:22:14
阅读次数:
450
vector : 向量
list : 双向链表容器,提供数据结构中链表的所有功能
queue : 队列容器,提供数据结构中队列的所有功能
stack : 栈容器,提供数据结构中栈的所有功能
deque : 双端栈容器,提供数据结构中栈的所有功能
priority_queue : 优先队列,一种按值排序的队列容器
set : 集合容器
multiset : 允许出现重复元素的集合容器
...
分类:
其他好文 时间:
2014-05-02 21:23:00
阅读次数:
298
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类:
其他好文 时间:
2014-05-02 19:56:21
阅读次数:
367
简介
在计算机的组成结构中,有一个很重要的部分,就是存储器。存储器是用来存储程序和数据的部件,对于计算机来说,有了存储器,才有记忆功能,才能保证正常工作。存储器的种类很多,按其用途可分为主存储器和辅助存储器,主存储器又称内存储器(简称内存,港台称之为记忆体)。内存又称主存,是CPU能直接寻址的存储....
分类:
其他好文 时间:
2014-05-02 19:13:07
阅读次数:
542
内存(英语:Computer
memory)是一种利用半导体技术做成的电子设备,用来存储数据。电子电路的数据是以二进制的方式存储,存储器的每一个存储单元称做记忆元。存储器的种类很多,按其用途可分为主存储器和辅助存储器,主存储器又称内存储器(简称内存)。?基本简介
内存是计算机中重要的部件之一,它是....
分类:
其他好文 时间:
2014-05-02 19:08:47
阅读次数:
415
ForEach是Java5带来的新特性之一。尽管有其局限性,ForEach还是极大方便了程序员编写简介的代码。那么,其底层是如何实现的呢?...
分类:
编程语言 时间:
2014-05-02 18:57:50
阅读次数:
356
《Linux/Unix系统编程手册》读书笔记
目录第11章这章主要讲了关于Linux和UNIX的系统资源的限制。关于限制都存在一个最小值,这些最小值为文件中的常量。通过cat
命令查看:lancelot@debian:~/Code/tlpi$ cat /usr/include/limits.h /*...
分类:
系统相关 时间:
2014-05-02 12:43:09
阅读次数:
708
Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos
6.5 x64, Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 hado...
分类:
Web程序 时间:
2014-05-02 12:17:15
阅读次数:
1290
1. NDK(Native Development Kit)1.1 NDK简介Android
NDK是一套允许开发人员使用本地代码(如C/C++)进行Android
APP功能开发的工具,通过这个工具,我们可以把用C/C++代码编译成可以直接运行在Android平台上的本地代码,这些本地代码以动态链...
分类:
移动开发 时间:
2014-05-02 00:23:04
阅读次数:
532
本文主要针对广告检索领域的查询重写应用,根据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法,关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。
SimRank++的矩阵形式的计算公式为:
算法主要步骤如下:
Step1: 计算权值矩阵,并获取最大Query编号和最大广告编号;
Step2:...
分类:
其他好文 时间:
2014-05-01 08:21:53
阅读次数:
527