码迷,mamicode.com
首页 >  
搜索关键字:hadoop 简介    ( 61711个结果
HDFS追本溯源:租约,读写过程的容错处理及NN的主要数据结构
Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢? 读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:其他好文   时间:2014-05-02 23:22:14    阅读次数:450
STL<一>:主要容器简介
vector : 向量 list : 双向链表容器,提供数据结构中链表的所有功能 queue : 队列容器,提供数据结构中队列的所有功能 stack : 栈容器,提供数据结构中栈的所有功能 deque : 双端栈容器,提供数据结构中栈的所有功能 priority_queue : 优先队列,一种按值排序的队列容器 set : 集合容器 multiset : 允许出现重复元素的集合容器 ...
分类:其他好文   时间:2014-05-02 21:23:00    阅读次数:298
Ubuntu14下Hadoop开发<1> 基础环境安装
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类:其他好文   时间:2014-05-02 19:56:21    阅读次数:367
主存
简介 在计算机的组成结构中,有一个很重要的部分,就是存储器。存储器是用来存储程序和数据的部件,对于计算机来说,有了存储器,才有记忆功能,才能保证正常工作。存储器的种类很多,按其用途可分为主存储器和辅助存储器,主存储器又称内存储器(简称内存,港台称之为记忆体)。内存又称主存,是CPU能直接寻址的存储....
分类:其他好文   时间:2014-05-02 19:13:07    阅读次数:542
内存
内存(英语:Computer memory)是一种利用半导体技术做成的电子设备,用来存储数据。电子电路的数据是以二进制的方式存储,存储器的每一个存储单元称做记忆元。存储器的种类很多,按其用途可分为主存储器和辅助存储器,主存储器又称内存储器(简称内存)。?基本简介 内存是计算机中重要的部件之一,它是....
分类:其他好文   时间:2014-05-02 19:08:47    阅读次数:415
Java的ForEach
ForEach是Java5带来的新特性之一。尽管有其局限性,ForEach还是极大方便了程序员编写简介的代码。那么,其底层是如何实现的呢?...
分类:编程语言   时间:2014-05-02 18:57:50    阅读次数:356
《Linux/Unix系统编程手册》读书笔记7 (/proc文件的简介和运用)
《Linux/Unix系统编程手册》读书笔记 目录第11章这章主要讲了关于Linux和UNIX的系统资源的限制。关于限制都存在一个最小值,这些最小值为文件中的常量。通过cat 命令查看:lancelot@debian:~/Code/tlpi$ cat /usr/include/limits.h /*...
分类:系统相关   时间:2014-05-02 12:43:09    阅读次数:708
Hadoop web监控界面设置安全机制
Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos 6.5 x64, Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 hado...
分类:Web程序   时间:2014-05-02 12:17:15    阅读次数:1290
C++开发安卓、windows下搭建Android NDK开发环境
1. NDK(Native Development Kit)1.1 NDK简介Android NDK是一套允许开发人员使用本地代码(如C/C++)进行Android APP功能开发的工具,通过这个工具,我们可以把用C/C++代码编译成可以直接运行在Android平台上的本地代码,这些本地代码以动态链...
分类:移动开发   时间:2014-05-02 00:23:04    阅读次数:532
用hadoop实现SimRank++算法(1)----权值转移矩阵的计算
本文主要针对广告检索领域的查询重写应用,根据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法,关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。 SimRank++的矩阵形式的计算公式为: 算法主要步骤如下: Step1: 计算权值矩阵,并获取最大Query编号和最大广告编号; Step2:...
分类:其他好文   时间:2014-05-01 08:21:53    阅读次数:527
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!