先上正确运行的显示：
错误1：变量为IntWritable，接收的是LongWritable，如下图：
原因，多写了参数reporter，如下图：
错误2：数组超出边界，如下图：
原因：设置了combine类，如下图：
错误3：nullpointerexception异常，如下图：
原因：静态变量为null，赋值即可，如下图：
错误4：进入了map，但是无法...
分类：
其他好文 时间：
2015-06-28 15:38:12
阅读次数：
121
准备： 安装jdk和ssh。1. 官网下载hadoop1.2.1 hadoop-1.2.1.tar.gz http://hadoop.apache.org/releases.html2. 解压到/home/hadoop/目录下3. 伪分布式hadoop配置 可以把伪分布式的hadoop看做只...
分类：
其他好文 时间：
2015-06-15 18:19:55
阅读次数：
147
【如果觉得我的笔记写的好，您可以小额赞助我：支付宝 15202166392】本文环境：OS:CentOS 6.6JDK:1.7.0_79User:xavierHadoop:1.0.4一、安装Hadoop:1.1.安装并配置好java（1）vi /etc/profile添加内容:#Set Java E...
分类：
其他好文 时间：
2015-06-15 12:52:40
阅读次数：
107
上一篇文章——Hadoop2.6.0集群部署中，我们可以看到，Hadoop集群启动后的服务情况：[hadoop@iZ94cjwg86gZ~]$jps
27888SecondaryNameNode
27688NameNode
28430Jps
28044ResourceManager
31596JobHistoryServer如果你已经搜索过Hadoop了，或者听说过mapreduce，可能网上资料更多..
分类：
编程语言 时间：
2015-06-12 15:11:33
阅读次数：
213
Hadoop集群的部署网上很多关于hadoop集群部署的文章，我这里重新整理下，毕竟，别人的经历，让你按照着完整走下来，总有或多或少的问题。小技巧分享:有些初学者喜欢在自己机器上安装虚拟机来部署hadoop，毕竟，很多同学的学习环境都是比较受限的。我这里则直接选择了阿里云的机..
分类：
编程语言 时间：
2015-06-11 23:10:51
阅读次数：
548
给大数据文件的每一行产生唯一的id
4个主要思路：
1 单线程处理
2 普通多线程
3 hive
4 Hadoop
搜到一些参考资料
《Hadoop实战》的笔记-2、Hadoop输入与输出
https://book.douban.com/annotation/17068812/
TextInputFormat：文件偏移量：整行数据
但是这个偏移量，貌似...
分类：
其他好文 时间：
2015-06-09 20:04:02
阅读次数：
135
【如果觉得我的笔记写的好，您可以小额赞助我：支付宝 15202166392】一、安装Hadoop:1.1.安装并配置好javavi /etc/profile添加内容:#Set Java Environment export JAVA_HOME="/usr/java/jdk1.7.0_79'' exp...
分类：
其他好文 时间：
2015-06-07 17:10:12
阅读次数：
185
原创文章，转载请注明：转载自工学1号馆欢迎关注我的个人博客：www.wuyudong.com, 更多云计算与大数据的精彩文章1、在eclise中安装hadoop的插件并配置在上篇文章《编译hadoop eclipse的插件（hadoop1.0）》，已经介绍过怎样编译基于hadoop1.0的eclip...
分类：
系统相关 时间：
2015-05-30 07:01:22
阅读次数：
181
这几天阅读《hadoop实战》，初步了解了一下hadoop的核心思想，简要的比较如下：
1. hadoop是一个开源框架，可编写和运行分布式应用处理大数据，具有方便、简单、健壮性、可扩展性等优点
2. MapReduce程序的执行分为两个阶段，为mapping和reducing。每个阶段均定义为数据处理函数，分别被称为mapper和reducer。在mapping阶段，MapReduce获...
分类：
其他好文 时间：
2015-05-25 11:30:41
阅读次数：
190
