码迷,mamicode.com
首页 >  
搜索关键字:hadoop outputformat    ( 13980个结果
寻找质因数
描述 Description 给出N个数字,试求质因数最大的数字。 输入格式 InputFormat 第一行,一个整数N,表示数字个数。 接下来N行,每行一个整数A_i,表示给出的数字。 输出格式 OutputFormat 一个整数,表示质因数最大的数字。 数据范围和注释 Hint N  举例 38和12 38=19*2 12=2*3*3 ...
分类:其他好文   时间:2014-07-22 23:01:52    阅读次数:280
修改HDFS块大小
环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf...
分类:其他好文   时间:2014-05-06 08:59:21    阅读次数:368
secondary namenode和namenode分离
namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
分类:其他好文   时间:2014-05-06 01:08:13    阅读次数:388
Hadoop初学指南(5)--MapReduce入门
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:其他好文   时间:2014-05-03 01:53:48    阅读次数:519
Hadoop初学指南(6)--MapReduce的简单实例及分析
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:其他好文   时间:2014-05-03 01:51:40    阅读次数:382
HDFS追本溯源:租约,读写过程的容错处理及NN的主要数据结构
Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢? 读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:其他好文   时间:2014-05-02 23:22:14    阅读次数:450
Ubuntu14下Hadoop开发<1> 基础环境安装
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类:其他好文   时间:2014-05-02 19:56:21    阅读次数:367
通过secondary namenode恢复崩溃的namenode
模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
分类:其他好文   时间:2014-05-02 14:44:28    阅读次数:517
Hadoop web监控界面设置安全机制
Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos 6.5 x64, Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 hado...
分类:Web程序   时间:2014-05-02 12:17:15    阅读次数:1290
线段长度
描述 Description 数轴上有N个点,任意两点连线得到n(n-1)条线段,试求线段的总长。 输入格式 InputFormat 第一行,一个整数N,表示点数。 接下来N行,每行一个整数X_i,表示点的坐标。 输出格式 OutputFormat 一个整数,表示线段的总长。 样例输入: 5 1 5 3 2 4 样例输出: 40 数据范围...
分类:其他好文   时间:2014-05-01 08:47:53    阅读次数:215
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!