一,配置history server
1.配置history server,在etc/hadoop/mapred-site.xml中配置以下内容.
mapreduce.jobhistory.address
localhost:10020
mapreduce.jobhistory.webapp.address
localhost:198...
分类：
其他好文 时间：
2015-06-11 14:45:58
阅读次数：
401
一Eclipse导入Hadoop源码项目基本步骤：1）在Eclipse新建一个java项目【hadoop-1.2.1】2)将Hadoop压缩包解压目录src下的core，hdfs，mapred，tools，example四个目录copy到上述新建项目的src目录下3）右击选择 Build Path，...
分类：
系统相关 时间：
2015-06-11 10:54:46
阅读次数：
154
dfs.name.dirDetermines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of dir....
分类：
其他好文 时间：
2015-06-11 06:55:03
阅读次数：
129
The size of Container logs revealed the below error:2015-04-24 11:41:41,858 WARN [main] org.apache.hadoop.mapred.MapTask: Unable to initialize MapOutp...
分类：
其他好文 时间：
2015-06-10 10:10:17
阅读次数：
1238
order by： order by是全局排序，受hive.mapred.mode的影响。 使用orderby有一些限制： 1、在严格模式下（hive.mapred.mode=strict），orderby必须跟limit一起使用（？）。 原因：在执行orderby时，hive使用一个re...
分类：
编程语言 时间：
2015-06-08 14:56:27
阅读次数：
161
order by： order by是全局排序，受hive.mapred.mode的影响。 使用orderby有一些限制： 1、在严格模式下（hive.mapred.mode=strict），orderby必须跟limit一起使用（？）。 原因：在执行orderby时，hive使用一个reducer...
分类：
编程语言 时间：
2015-06-08 13:12:40
阅读次数：
152
不多说，直接上代码,大家都懂得
1、Mapper类的实现
/**
* Mapper类的实现
* @author liuyazhuang
*
*/
static class MyMapper extends Mapper{
protected void map(LongWritable key, Text value, org.apache.hadoop.mapred...
分类：
其他好文 时间：
2015-05-31 14:02:10
阅读次数：
230
Mapreducer程序写了好几个了，但是之前一直都没有仔细的测试过本地运行和集群上运行的区别，今天写了一个Mapreduce程序，在此记录下来。
本地运行注意事项有以下几点：
1、本地必须配置好Hadoop的开发环境
2、在src里不加入配置文件运行，或者如果本地的src里有mapred-site.xml和yarn-site.xml配置文件，那么mapreduce.framework.n...
分类：
其他好文 时间：
2015-05-30 22:43:23
阅读次数：
152
全排序 hive的排序关键字是SORT BY，它有意区别于传统数据库的ORDER BY也是为了强调两者的区别–SORT BY只能在单机范围内排序。 1.1.1? ???例1 set mapred.reduce.tasks=2; 原值 select cookie_id,page_id,i...
分类：
编程语言 时间：
2015-05-28 18:30:54
阅读次数：
185
1.1 全排序
Hive的排序关键字是SORT BY，它有意区别于传统数据库的ORDER BY也是为了强调两者的区别–SORT BY只能在单机范围内排序。[/url][王黎1]
1.1.1 例1
set mapred.reduce.tasks=2;
原值
select cookie_id,page_id,id fromc02_clickstat_fatdt1
where c...
分类：
编程语言 时间：
2015-05-28 16:15:06
阅读次数：
237
