本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单..
分类：
其他好文 时间：
2014-05-03 01:53:48
阅读次数：
519
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据，分别是helloyou，hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>，分别是<0,helloyou><10,hel..
分类：
其他好文 时间：
2014-05-03 01:51:40
阅读次数：
382
Excuses, Excuses!
Judge Ito is having a problem with people subpoenaed for jury duty giving rather lame excuses in order to avoid serving. In order to reduce the amount of time requi...
分类：
其他好文 时间：
2014-05-02 23:54:43
阅读次数：
474
Lease 的机制：hdfs支持write-once-read-many，也就是说不支持并行写，那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease，对应到namenode中的LeaseManager，客户端的client name就作为一个lease的holder，即租约持有者。LeaseManager起什么作用呢？
读写过程的容错是怎么做的？数据块是如何复制的？数据块的恢复机制？本文都有涉及。...
分类：
其他好文 时间：
2014-05-02 23:22:14
阅读次数：
450
题目：大意是说李老师的课堂上有n个学生，给出这n个人名单，今天共来了n-1个人，有一个人没来，给出这n-1个人的名单，来找出没来的那个人。
方法：开始使用map，set都会超时，汗了半天，实在没办法了，看了一下别人的思路，神思路！！大致方法就是把他们n个人的名字加起来，然后在减去n-1个人的名字，剩下的就是没来的那个人的名字。这里需要使用到ASCII码和数字之间通用的属性。
代码：
#inc...
分类：
其他好文 时间：
2014-05-02 20:09:22
阅读次数：
322
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类：
其他好文 时间：
2014-05-02 19:56:21
阅读次数：
367
建立map的方式（其实用的是json实现方式）
var a = {};
a["key1"] = "value1";
a["key2"] = "value2";
既然是个map就有检索某个键是否存在的方法，这样写
if ("key1" in a) {
// something
} else {
// something else
}
简单的一句话声明map里面的key和valu...
分类：
编程语言 时间：
2014-05-02 19:21:46
阅读次数：
332
当系统物理内存不足时，内存交换空间(swap)用来紧急应付内存不足的情况,和windows中虚拟内存用法差不多。使用物理分区构建swap空间1、首先新建一个swap分区/dev/sda42、构建swap格式3、查看与加载使用swapon启用使用swapon–s查看4、禁用swap分区使用swapoff命令使用文件构建s..
分类：
其他好文 时间：
2014-05-02 04:03:05
阅读次数：
451
一、首先创建分区二、创建新的加密卷加密分区解密分区创建文件系统创建挂载点，然后挂载卸载加密卷，并锁定加密的卷下次要是再想使用这个加密卷怎么办?再次打开加密卷就OK啦！关于上面的图片解释下，作者刚刚改变映射名称时候，手动是可以挂载和打开的，第一次不知道怎么回事，..
分类：
系统相关 时间：
2014-05-02 03:28:30
阅读次数：
389
操作系统基本分页存储管理方式
连续分配内存方式会形成许多“碎片”，通过紧凑的方式将碎片拼接成一块大的空间，但是拼接过程系统开销太大。如果允许将一个进程直接分散地装入到许多不相邻的分区中，那么就不需要再进行“紧凑”。基于这一思想而产生了离散分配方式。如果离散分配的基本单位是页，则称为分页存储管理方式；如果离散分配的基本单位是段，则称为分段存储管理方式。
在分页管理方式中，如果不具备页面对换功能（...
分类：
其他好文 时间：
2014-05-02 02:19:11
阅读次数：
314
