码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 实战    ( 20951个结果
《Java并发编程实战》第十一章 性能与可伸缩性 读书笔记
造成开销的操作包含:1. 线程之间的协调(比如:锁、触发信号以及内存同步等)2. 添加?的上下文切换3. 线程的创建和销毁4. 线程的调度一、对性能的思考1 性能与可伸缩性执行速度涉及下面两个指标:某个指定的任务单元须要“多快”才干处理完毕、计算资源一定的情况下,能完毕“多少”工作。可伸缩性:当添加...
分类:编程语言   时间:2014-06-26 21:19:51    阅读次数:330
ibatis实战之中的一个对多关联
在实际开发中,我们经常遇到关联数据的情况,如User对象拥有若干Book对象每一个Book对象描写叙述了归属于一个User信息,这样的情况下,我们应该怎样处理?通过单独的Statement操作固然能够实现(通过Statement用于读取用户数据,再手工调用另外一个Statement依据用户ID返回相...
分类:其他好文   时间:2014-06-26 20:52:18    阅读次数:245
在排序好的数组插入一个数字,数字要插入到合适的位置上
最近在看以前大一看过的一本书《JAVA开发实战经典》李兴华写的,每看一次以前看过的书,收获都是不一样的,很多东西以前不明白,现在一看恍然大悟的感觉;   这道题目是书上的习题,没给参考答案,我在网上也没找到好点的,就发上来,感觉这个算法还可以优化得更好,希望高手指点          // 在排序好的数组插入一个数字,数字要插入到合适的位置上        int intArr[] = ...
分类:其他好文   时间:2014-06-25 19:31:58    阅读次数:177
spark开发环境配置
以后spark,mapreduce,mpi可能三者集于同一平台,各自的侧重点有所不用,相当于云计算与高性能计算的集合,互补,把spark的基础看了看,现在把开发环境看看,主要是看源码,最近Apache Spark源码走读系列挺好的,看了些。具体环境配置不是太复杂,具体可以看https://githu...
分类:其他好文   时间:2014-06-25 11:44:47    阅读次数:185
apache shiro 实战
因为公司用到了shiro,所以自己抽空写了个小例子,方便下次查阅:1.这是项目大致构架图(至于类的实际内容会在后面有贴出):2.数据结构说明:User:用户,包含 userName,passwordRole:角色,包含roleNamePermission:权限,包含premissionNameSec...
分类:其他好文   时间:2014-06-25 11:19:23    阅读次数:1255
初识 Cloudera Impala
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类:其他好文   时间:2014-06-25 10:56:38    阅读次数:355
hadoop1-构建电影推荐系统
问题导读:1. 推荐系统概述;2. 推荐系统指标设计;3. Hadoop并行算法;4. 推荐系统架构;5. MapReduce程序实现。前言Netflix电影推荐的百万美金比赛,把“推荐”变成了时下最热门的数据挖掘算法之一。也正是由于Netflix的比赛,让企业界和学科界有了更深层次的技术碰撞。引发...
分类:其他好文   时间:2014-06-25 09:46:57    阅读次数:329
appium简明教程(8)——那些工具
那片笑声让我想起我的那些tool在我生命每个角落静静为我开着我曾以为我会永远守在她身旁今天我们已经离去在人海茫茫她们都老了吧 都更新换代了吧幸运的是我曾陪她们开发啦…… 想她啦…… 她还更新吗啦…… 去呀她们已经被风吹走散落在天涯正所谓工欲善其事必先利其器,对于appium实战android来说,下...
分类:移动开发   时间:2014-06-25 09:26:55    阅读次数:261
hadoop 多个maper处理
packagecom.smilezl.learn.CalWord;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hado..
分类:其他好文   时间:2014-06-25 06:28:59    阅读次数:242
MapReduceTopK TreeMap
MapReduce TopK统计加排序中介绍的TopK在mapreduce的实现。 本案例省略的上面案例中的Sort步骤,改用TreeMap来实现获取前K个词 package TopK1; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configurat...
分类:其他好文   时间:2014-06-24 22:33:34    阅读次数:293
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!