本篇先介绍HBase在伪分布式环境下的安装方式，然后将MapReduce编程和HBase结合起来使用，完成WordCount这个例子。HBase在伪分布环境下安装一、 前提条件 已经成功地安装了jdk1.6和hadoop1.2.1。 Jdk1.6+Hadoop1.2.1在伪分布环境下具体的安装方.....
分类：
系统相关 时间：
2015-03-10 16:48:11
阅读次数：
310
wordcount作为Hadoop的示例程序，其思想很简洁，但也值得去理解尤其是作为Hadoop菜鸟的我wordcount程序如下：package com.lcy.hadoop.examples;import java.io.IOException;import java.util.StringTo...
分类：
其他好文 时间：
2015-03-08 01:20:31
阅读次数：
198
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版“Hello World”，该程序的完整代码可以在Hadoop安装包的src/example目录下找到。单词计数主要完成的功能：统计一系列文本文件中每个单词出现的次数，如下图所示。本blog将通过分析WordCount源码来帮助大家摸清MapReduce程序的基本结构和运行机制。开发环境硬件环境：Centos...
分类：
其他好文 时间：
2015-03-04 09:48:48
阅读次数：
189
Hadoop 伪分布式环境时运行wordcount程序，之前已经运行过一次，再次将input文件夹中的内容上传至HDFS时会出现重复，但是还是可以上传成功。但是当再次运行wordcount程序时就会报错：可以看到导致错误的原因时HDFS中的output文件夹已经存在了，所以必须要删除。（因为outo...
分类：
其他好文 时间：
2015-02-28 16:18:42
阅读次数：
482
搭建好Hadoop集群环境或者单机环境，并运行，MapReduce进程要起来1. 假设已经配置了下列环境变量export JAVA_HOME=/usr/java/defaultexport PATH=$JAVA_HOME/bin:$PATHexport HADOOP_CLASSPATH=$JAVA_...
分类：
其他好文 时间：
2015-02-27 18:20:14
阅读次数：
121
一、Hadoop中的计数器计数器：计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们通常可以在程序的某个位置插入计数器，用来记录数据或者进度的变化情况，它比日志更便利进行分析。 例如，我们有一个文件，其中包含如下内容：hello youhello me 它被WordCount.....
分类：
其他好文 时间：
2015-02-22 18:28:57
阅读次数：
183
1.Create a new java project, then copy examples folder from /home/hadoop/hadoop-1.0.4/src; Create a new folder named src, then Paste to the project to...
分类：
其他好文 时间：
2015-02-19 01:21:48
阅读次数：
372
在/home/llh/hadoop目录下创建文件夹file创建两个文本文件在hdfs上创建输入文件夹$ bin/hadoop fs -mkdir /input将file中的文件上传到input目录下$ bin/hadoop fs -put /home/llh/hadoop/file/file*.tx...
分类：
其他好文 时间：
2015-02-13 22:24:53
阅读次数：
187
source code:package stormdemo;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileNotFoundException;import java.io.FileRead...
分类：
其他好文 时间：
2015-02-13 09:16:07
阅读次数：
132
有篇文章http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html中介绍的这个接口可以实现序列化，这个WritableComparable接口跟java中的java.io.Serializable接口有什么区别？http://a12...
分类：
其他好文 时间：
2015-02-06 16:26:37
阅读次数：
139
