引言1.本文不描写叙述MapReduce入门知识，这类知识网上非常多。请自行查阅2.本文的实例代码来自官网http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapRed...
分类：
Web程序 时间：
2015-10-01 11:37:06
阅读次数：
163
在TaskTracker中对象healthStatus保存了当前节点的健康状况，对应的类是org.apache.hadoop.mapred.TaskTrackerStatus.TaskTrackerHealthStatus。定义如下：static class TaskTrackerHealthS.....
分类：
其他好文 时间：
2015-09-21 19:33:38
阅读次数：
165
配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择...
分类：
其他好文 时间：
2015-09-15 23:04:50
阅读次数：
208
安装：1 解压然后把mysql的驱动放在$SQOOP_HOME/lib 目录中2. conf/sqoop-en.shexport HADOOP_COMMON_HOME=/home/hadoop/hadoop/hadoop-2.3.0export HADOOP_MAPRED_HOME=/home/ha...
分类：
其他好文 时间：
2015-09-05 09:50:33
阅读次数：
128
以下操作均可在$HIVE_HOME/bin/.hiverc文件中保存，设置为默认参数set hive.mapred.mode=strict;//开启strict模式,以下情况报错：(1)没有limit限制的order by语句.(2)动态分区插入set hive.cli.print.current....
分类：
其他好文 时间：
2015-09-04 12:32:17
阅读次数：
167
reduce的数目到底和哪些因素有关1、我们知道map的数量和文件数、文件大小、块大小、以及split大小有关，而reduce的数量跟哪些因素有关呢？设置mapred.tasktracker.reduce.tasks.maximum的大小可以决定单个tasktracker一次性启动reduce的数目...
分类：
其他好文 时间：
2015-08-28 21:18:34
阅读次数：
278
hadoop1
配置 mapred-site.xml,增加如下内容
mapred.jobtracker.taskScheduler
org.apache.hadoop.mapred.FairScheduler
<...
分类：
其他好文 时间：
2015-08-28 13:23:03
阅读次数：
139
最近公司HBase(CDH-4.6.0)遇到了一个麻烦问题，觉得有必要记录下整个解决的过程。问题起因用户在跑mapreduce任务，从hdfs读取文件想写入到hbase table的时候失败了（这是hbase提供的一种mapred能力）。这个问题发现在A环境(一个测试环境)，自从启用了kerberos之后。运行了用户给的程序和自己写的sample之后，发现程序最后挂在NullPointerExcep...
分类：
其他好文 时间：
2015-08-27 15:22:43
阅读次数：
219
错误原文分析文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192]hadoop docs hdfs-si...
分类：
编程语言 时间：
2015-08-17 14:05:57
阅读次数：
176
Cache：缓存，万金油，哪里不行优先考虑Queue：消息队列，常见使用Linkedin的kafkaAsynchronized：批处理＋异步，减少系统IO瓶颈Load Balance: 负载均衡，可以使用一致性hash技术做到尽量少的数据迁移Parallelization：并行计算，比如MapRed...
分类：
其他好文 时间：
2015-08-16 19:39:17
阅读次数：
203
