码迷,mamicode.com
首页 >  
搜索关键字:hadoop map reduce 分区 分组    ( 64817个结果
HDOJ 4614 Vases and Flowers
线段树+二分区间 用线段树维护某一段内还有多少个花瓶可以用,二分确定插入的左右界..... Vases and Flowers Time Limit: 4000/2000 MS (Java/Others)    Memory Limit: 65535/32768 K (Java/Others) Total Submission(s): 1782    Accepted Submis...
分类:其他好文   时间:2014-07-22 23:05:54    阅读次数:307
hive基本操作
Hive是一个基于hadoop的数据仓库工具。Hive的查询语言是hive ql。一种类似sql的语言。 Hive支持的数据类型有 1整形: Tinyint  1字节整型 Smallint  2字节整型 Bigint   8字节整型   2.布尔型 Boolean   3浮点型  Float Double   4字符串类型 String   5.符合类型 ...
分类:其他好文   时间:2014-07-22 23:03:34    阅读次数:393
HDU 3656 二分+dlx判定
Fire station Time Limit: 10000/5000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 1308    Accepted Submission(s): 434 Problem Description A city's map can ...
分类:其他好文   时间:2014-07-22 23:01:35    阅读次数:287
Hadoop AWS Word Count 例子
在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序:import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; ...
分类:其他好文   时间:2014-07-22 23:01:32    阅读次数:405
Hadoop web监控界面设置安全机制
Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos 6.5 x64, Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 hado...
分类:Web程序   时间:2014-05-02 12:17:15    阅读次数:1290
java中的Map接口
前言 正文 总结...
分类:编程语言   时间:2014-05-01 18:27:35    阅读次数:377
用hadoop实现SimRank++算法(1)----权值转移矩阵的计算
本文主要针对广告检索领域的查询重写应用,根据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法,关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。 SimRank++的矩阵形式的计算公式为: 算法主要步骤如下: Step1: 计算权值矩阵,并获取最大Query编号和最大广告编号; Step2:...
分类:其他好文   时间:2014-05-01 08:21:53    阅读次数:527
浅谈mmap()
原型:#include void * mmap(void *addr, size_t len, int port, int flag, int fildes)参数fd为即将映射到进程空间的文件描述字,一般由open()返回,同时,fd可以指定为-1,此时须指定flags参数中的MAP_ANON,表明进行的是匿名映射(不涉及具体的文件名,避免了文件的创建及打开) 实际上目前的glibc 对mal...
分类:其他好文   时间:2014-04-30 22:23:40    阅读次数:307
DM8168 DVRRDK开发总结
在dm8168_dvrrdk开发过程中,遇到不少的问题,同时解决了不少问题,在此做一个小小的总结。 1.系统架构 系统架构由两部分组成,app应用程序端和link链路。 (1)app应用程序端(arm端): 此端也是用户端,直接操作数据层。读取数据(为整个link链路读入数据流)以及存储数据(将整个link链路处理完的数据结果通过此端进行存储)。 (2)link链路端: 此端为底层...
分类:其他好文   时间:2014-04-30 22:17:38    阅读次数:492
flare-spork: 自己维护的Pig on Spark项目
很早以前有个Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。 flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。 目前项目在Github上,地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。 Github...
分类:其他好文   时间:2014-04-30 22:15:39    阅读次数:360
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!