本文通过具体的实例,介绍如何使用hadoop中mapreduce程序解决平均数以及top N的相关问题。...
分类:
其他好文 时间:
2014-11-14 14:16:48
阅读次数:
199
今天使用hadoop时发现查看本机ip时无法使用 提示没有该命令首先查看了Linux的版本uname -a 查看内核版本号接着查看Linux的版本号lsb_release -a 发现时CentOS使用ifconfig时提示没有该命令 这时决定使用管理员权限su 和su - 都须要password ....
分类:
系统相关 时间:
2014-11-13 20:21:47
阅读次数:
167
在HDInsight中开始使用Hadoop与Hive来分析移动手机使用
为了能让你迅速上手使用HDInsight,本教程将向您介绍如何运行一个查询Hive提取的Hadoop集群,从非结构化数据的有意义的信息。然后,你将分析结果在Microsoft Excel中。...
分类:
移动开发 时间:
2014-11-12 10:29:17
阅读次数:
194
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
1 数据采集、转换和存储。正如上面介绍...
分类:
其他好文 时间:
2014-11-05 10:55:34
阅读次数:
182
1:软件环境准备1.1Hadoop:我们使用hadoop Release 1.2.1(stable)版本,下载链接:http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-1.2.1/我们选择hadoop-1.2.1-bin.tar.gz文件下载...
分类:
其他好文 时间:
2014-11-04 19:14:38
阅读次数:
260
使用hadoop实现IP归属地的统计,为分析用户的地区分布提供数据...
分类:
其他好文 时间:
2014-10-29 17:14:00
阅读次数:
263
一、hadoop有很多自带的计数器,详细看过运行log的都会看到各种数据
二、用户自定义计数器
在开发中经常需要记录错误的数据条数,就可以用计数器来解决。
1、定义:用一个枚举来定义一组计数器,枚举中的每个元素都是一个计数器
在main类中定义
enum RecordsCounter{
RIGHT_COUNTER,
WRONG_COUNTER
};
2、使用...
分类:
其他好文 时间:
2014-10-29 00:17:37
阅读次数:
330
通过hadoop中的MapReduce实现Apache日志中的IP个数统计,并将计算结果输出到mysql数据库中。...
分类:
数据库 时间:
2014-10-22 12:55:09
阅读次数:
419
根据超市的销售清单,采用hadoop中的mapreduce计算商品之间的关联程度(即统计同时买A商品和B商品的次数)...
分类:
其他好文 时间:
2014-10-17 15:38:03
阅读次数:
213