hadoop-1.2.1.tar.gz下载：http://pan.baidu.com/s/1o8sMi 密码：rmt0压缩包解压：打开Eclipase新建一个Java Project：拷贝源码到工程目录：只需要core,examples,hdfs,mapred,tools拷贝到工程目录下：添加依赖包...
分类：
系统相关 时间：
2015-03-14 13:38:20
阅读次数：
185
转载自：如何在hadoop中控制map的个数hadoop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数...
分类：
其他好文 时间：
2015-03-11 12:46:43
阅读次数：
148
正确设置Hadoop程序运行时的参数可以提高程序的运行效率，但是错误的设置也会带来效率的降低，甚至程序的失败。我今天就遇到了这种情况，事情是这样的：在Hadoop的配置中有这样一个参数：mapred.reduce.slowstart.completed.maps: 这个参数控制reducer何时开始...
分类：
其他好文 时间：
2015-03-06 00:55:29
阅读次数：
159
单机模式所需要的系统资源是最少的，这种安装模式下，Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下，官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时，Hadoop完全运行在本地，不与其他节点交互，也不使用Hadoop文件系统，不加载任何守护进程，该模式主要用于开发调试MapRedu...
分类：
其他好文 时间：
2015-03-04 09:50:35
阅读次数：
196
在旧版本的samples中，使用的是旧的api，mapred下面的MultiFileInputFormat,现在已经过时。现在推荐使用mapreduce下面的CombineInputFormat来处理。应用场景： 如果文件数量大，而且单个文件又比较小，若是使用FileInputFormat进行分片....
分类：
其他好文 时间：
2015-02-23 09:36:52
阅读次数：
190
错误的主要特征代码是这样的：java.lang.Throwable:ChildErroratorg.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)Causedby:java.io.IOException:Taskprocessexitwithnonzerostatusof1.注意返回的exitcode是1，网上还有返回其他的，比如-1，比如255等等，这里不涉..
分类：
其他好文 时间：
2015-02-20 00:23:25
阅读次数：
183
第一部分：Hive参数hive.exec.max.created.files说明：所有hive运行的map与reduce任务可以产生的文件的和默认值:100000hive.exec.dynamic.partition说明：是否为自动分区默认值：falsehive.mapred.reduce.tasks.speculative.execution说明：是否打开推测执行默认值：truehive.i..
分类：
其他好文 时间：
2015-02-12 18:42:25
阅读次数：
193
1 2 3 19 20 21 22 23 24 25 26 27 28 29 mapred.reduce.tasks 30 -1 31 The default number of reduce tasks per jo...
分类：
其他好文 时间：
2015-02-12 13:54:18
阅读次数：
1814
还是使用之前的单词计数的例子
自定义Mapper类import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache....
分类：
编程语言 时间：
2015-02-11 18:43:55
阅读次数：
132
一、部分关键参数介绍
参数介绍
--connect 指定关系型数据库JDBC连接字符串
--connection-manager 指定数据库使用的管理类
--driver 手动指定要使用JDBC驱动程序类
--hadoop-mapred-home 重写覆盖$HADOOP_MAPRED_HOME
--help...
分类：
数据库 时间：
2015-01-18 15:50:57
阅读次数：
438
