码迷,mamicode.com
首页 >  
搜索关键字:aggregate 聚合 mapreduce    ( 9709个结果
MapReduce实现排序功能
期间遇到了无法转value的值为int型,我采用try catch解决 str2 2 str1 1 str3 3 str1 4 str4 7 str2 5 str3 9 用的\t隔开,得到结果  str1 1,4  str2 2,5 str3 3,9 str4 7 我这里map,reduce都是单独出来的类,用了自定义的key package com.kan...
分类:其他好文   时间:2014-06-05 06:52:38    阅读次数:353
在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
最近开始使用MapReduce,发现网上大部分例子都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理,这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。 本文以一个简单的应用场景为例:对按照二进制格式存储的整数做频数统计。以此来说明如何重写FileInputFormat来实现对非文本数据的处理。...
分类:其他好文   时间:2014-06-04 21:53:46    阅读次数:341
我们需要怎样的OLAP
OLAP是商业智能的重要组成部分。 从字面上理解,OLAP是在线分析的意思,也就是由用户面对实时的业务数据进行分析操作。 但是,当前OLAP概念被严重狭义化了,仅指基于多维数据(或模拟出的类似结构)进行钻取、聚合、旋转、切片等操作,也就是多维交互分析。 这种OLAP的应用,需要事先建好一批有针对主题的数据立方体(CUBE),然后用户可将这些数据以交叉表或图形的方式展现...
分类:其他好文   时间:2014-06-04 21:42:51    阅读次数:239
聚合因子
当然在查询中有的不可避免要执行索引回表读,那么什么情况下索引回表读的效率更高呢回表查询的效率和聚合因子有关如果某个索引列的列值在表中是有序存放的如1 到10000,我们知道索引列的值在索引中是有序存放的,表和索引两者的排列顺序相似度很高我们就说聚合因子比较低如果某个索引列的值在表中是无序存放的,那么...
分类:其他好文   时间:2014-06-03 09:09:51    阅读次数:400
UML类图几种关系的总结
在UML类图中,常见的有以下几种关系:泛化(Generalization),实现(Realization),关联(Association),聚合(Aggregation),组合(Composition),依赖(Dependency)1.泛化(Generalization)【泛化关系】:是一种继承关系...
分类:其他好文   时间:2014-06-03 09:02:37    阅读次数:182
云计算大会有感—MapReduce和UDF
(转载请注明出处:http://blog.csdn.net/buptgshengod)1.參会有感 首先还是非常感谢CSDN能给我票,让我有机会參加这次中国云计算峰会。感觉不写点什么对不起CSDN送我的门票(看到网上卖一千多一张呢)。 还是得从国家会议中心说起,两年前lz以前在那当过IDF...
分类:其他好文   时间:2014-06-03 08:21:39    阅读次数:299
百度地图API和高德地图API资料集锦
【高德地图API】从零开始学高德JS API(五)路线规划——驾车|公交|步行【高德地图API】从零开始学高德JS API(四)搜索服务——POI搜索|自动完成|输入提示|行政区域|交叉路口|自有数据检索【高德地图API】从零开始学高德JS API(三)覆盖物——标注|折线|多边形|信息窗口|聚合m...
分类:Windows程序   时间:2014-05-30 23:30:36    阅读次数:395
Apache Spark源码走读之12 -- Hive on Spark运行环境搭建
Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapRed...
分类:其他好文   时间:2014-05-30 14:23:07    阅读次数:409
数据库-04
--聚合函数:返回一个值,对表中所有行进行统计,忽略NULL值--sum:求和(只能数字类型)select sum(age) from stuInfo--avg:平均值(只能数字类型)select avg(age) from stuInfo--max:最大值(只能数字类型或者是字符串)select ...
分类:数据库   时间:2014-05-30 02:49:16    阅读次数:289
UML 类与类之间的四大关系的一些图标及代码含义
UML类与类之间的四大关系的一些图标及代码含义另一个版本:关联:连接模型元素及链接实例,用一条实线来表示;依赖:表示一个元素以某种方式依赖于另一个元素,用一条虚线加箭头来表示;聚合:表示整体与部分的关系,用一条实线加空心菱形来表示;组成:表示整体与部分的有一关系,用一条实线加实心菱形来表示;泛化(继...
分类:其他好文   时间:2014-05-29 16:34:04    阅读次数:366
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!