码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 实战    ( 20951个结果
OpenStack IdentityService Keystone V3 API Curl实战
v3 API Examples Using Curl1,Default scope 获取tokenGet an token with default scope (may be unscoped):Tips CLI如下:curl -i \ -H "Content-Type: application/...
分类:Windows程序   时间:2014-09-24 10:45:26    阅读次数:1358
大数据图数据库之MapReduce用于图计算
/* 版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/                 CopyMiddle: 张俊林                                     节选自《大数据日知录:架构与算法》十四章,书籍目录在此1.使用Mapreduce进行图计算          使用MapReduce框架来针对大规模图数据进行计算的研究工作相对较少,这主...
分类:数据库   时间:2014-09-23 23:06:45    阅读次数:281
Hadoop日记Day12---MapReduce学习
一、MapReduce简介1.1 MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算,其执行流程如图1。这两个....
分类:其他好文   时间:2014-09-23 22:14:05    阅读次数:368
Java中调用MatLab返回值
当在Java中使用MatLab函数时,由于语言语法的不同,Matlab返回多个数据时,想在Java中获取到并进行使用。查阅了网上资料,翻箱倒柜加上自己实战,得出方法如下: 如MatLab函数返回的是N个变量值,其中有单个的数值、一维数组、二维数组等。
分类:编程语言   时间:2014-09-23 20:56:35    阅读次数:386
Hadoop中shuffle阶段流程分析
Hadoop中shuffle阶段流程分析MapReduce longteng9个月前 (12-23)399浏览0评论宏观上,Hadoop每个作业要经历两个阶段:Map phase和reduce phase。对于Map phase,又主要包含四个子阶段:从磁盘上读数据-》执行map函数-》combin...
分类:其他好文   时间:2014-09-23 20:42:45    阅读次数:252
C语言基础课程 第一课 Linux环境配置小实战httpserver
?? C语言基础课程 第一课 Linux环境配置小实战httpserver    首先环境需要的是redhat虚拟机操作系统打开redhat 防火墙2.将WWW(HTTP)勾选上3.点击apply 点击是4.切换到root用户输入正确的root密码5. 启动http服务6.输入ifconfig 查看当前ip痛7.通过分析我们知道 他是一个局域网的ip   windows可以通过net 或者...
分类:编程语言   时间:2014-09-23 20:06:45    阅读次数:292
mongoDB的map reduce
mongoDB的map reduce使用 示例: res = db.runCommand({     mapreduce:'liveEpgUserVisits',     map:function() {         emit({provice:this.provice}, {"data":[{"mac":this.mac}],visit:this.visitNum, use...
分类:数据库   时间:2014-09-23 19:55:17    阅读次数:268
Hadoop实战之四~hadoop作业调度详解(2)
这篇文章将接着上一篇wordcount的例子,抽象出最简单的过程,一探MapReduce的运算过程中,其系统调度到底是如何运作的。情况一:数据和运算分开的情况 wordcount这个例子的是hadoop的helloworld程序,作用就是统计每个单词出现的次数而已。其过程是:现在我用文字再来描述下....
分类:其他好文   时间:2014-09-23 14:36:44    阅读次数:227
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(5)
此时把我们的“firstScalaApp”的源代码修改为如下内容: 此时我们点击“firstScalaApp”的右键选择“Run Scala Console”出现如下提示: 这是由于我们还没有设置Java的JDK路径,点击“OK”,进入如下视图: 此时...
分类:其他好文   时间:2014-09-23 13:28:24    阅读次数:211
Storm介绍
Storm是一个分布式的、可靠的、容错的数据流处理系统(流式计算框架,可以和mapreduce的离线计算框架对比理解)。 整个任务被委派给不同的组件,每个组件负责一个简单的特定的处理任务。Storm集群的输入流是一个叫...
分类:其他好文   时间:2014-09-23 13:10:17    阅读次数:348
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!