1、新建一个java project 2、把hadoop源码解压出来，再到src目录下把，src下的core、hdfs、mapred文件夹复制出来3、把复制出来的三个文件夹，粘贴到 java project 的ｓｒｃ下４、把ｓｒｃ去掉，右键Properties 找到５、添加资源文件夹６、加入依赖的j...
分类：
系统相关 时间：
2015-01-10 10:02:16
阅读次数：
239
第一种方法：就是list中对象（bean文件）实现Comparable接口，代码如下：package com.mapred.entity;public class Bar implements Comparable{ private String id; private String hexVal....
分类：
编程语言 时间：
2015-01-07 18:42:49
阅读次数：
200
hadoop有自己记录日志的路径和配置方法。
打印日志方法：log4j,slf4j等记录日志方法，系统日志等。
日志记录的路径和文件名的定义：mapred-site.xml中有相关的设置。
xml version="1.0"?>
xml-stylesheet type="text/xsl" href="configuration.xsl"?>...
分类：
其他好文 时间：
2015-01-05 13:05:09
阅读次数：
225
1、package org.apache.hadoop.mapred这四个协议都在这个包下。 2、从最简单的AdminOperationsProtocol看， void refreshQueues() throws IOException; void refreshNodes() throws IO...
分类：
其他好文 时间：
2015-01-04 18:53:25
阅读次数：
289
错误信息：11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.11/1...
分类：
编程语言 时间：
2014-12-30 16:40:00
阅读次数：
167
二、Hadoop伪分布式模式配置
本实验需要按照上一节单机模式部署后继续进行操作
1. 配置core-site.xml, hdfs-site.xml，mapred-site.xml及yarn-site.xml
1).修改core-site.xml:
$ sudo gvim /usr/local/hadoop/etc/core-site.xml
configurat...
分类：
其他好文 时间：
2014-12-23 21:11:31
阅读次数：
173
用了一段时间的hadoop，现在回来看看源码发现别有一番味道，温故而知新，还真是这样的 在使用hadoop之前我们需要配置一些文件，hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml。那么这些文件在什么时候被hadoop使用？ ...
分类：
其他好文 时间：
2014-12-05 22:32:08
阅读次数：
241
hadoop:mapred.child.java.opts-Xmx1024mPS：该选项默认是200M
分类：
编程语言 时间：
2014-12-01 22:22:17
阅读次数：
148
上篇说了block在DataNode配置有多个${dfs.data.dir}时的存储策略，本文主要介绍TaskTracker在配置有多个${mapred.local.dir}时的选择策略。1 mapred-site.xml2 3 mapred.local.dir4 /mnt/locald...
分类：
其他好文 时间：
2014-11-26 22:37:03
阅读次数：
293
上一篇分析了split的生成，现在接着来说具体的split具体内容及其相关的文件和类。以FileSplit(mapred包下org/apache/hadoop/mapreduce/lib/input/FileSplit.java)为例，它继承了InputSplit接口，包括以下属性：1 publ.....
分类：
其他好文 时间：
2014-11-26 18:17:27
阅读次数：
270
