import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import ...
分类：
其他好文 时间：
2016-07-29 22:58:36
阅读次数：
172
shuffle机制 1：每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件 ...
分类：
其他好文 时间：
2016-07-22 16:10:13
阅读次数：
185
Map阶段的优化 主要是确定合适的Map数。那么首先要了解Map数的计算公式： num_Map_tasks = max[${Mapred.min.split.size}， min(${dfs.block.size}， ${Mapred.max.split.size})] Mapred.min.spl ...
分类：
其他好文 时间：
2016-07-07 12:31:04
阅读次数：
153
查找有没有这个软件通过管道查询：sudoapt-cachesearchssh|grepssh安装的话：sudoapt-getinstallxxxxx安装ssh后要生成一个文件即执行：ssh-keygen-trsa-P""-f~/.ssh/id_rsa最后在soft/haoop/etc/hadoop目录下的三个文件中执行core-site.xml、hdfs-site.xml、mapred-site.xml中..
分类：
其他好文 时间：
2016-07-07 11:12:16
阅读次数：
254
wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gzhadoop的下载文件安装jdkhttp://www.linuxidc.com/Linux/2014-08/105906.htm安装hadoop进入/root/zby/hadoop/hadoop-1.2.1/conf配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred..
分类：
其他好文 时间：
2016-07-05 15:46:27
阅读次数：
349
Hadoop中WordCount代码-直接加载hadoop的配置文件在Myeclipse中，直接编写WordCount代码，代码中直接调用core-site.xml，hdfs-site.xml，mapred-site.xml配置文件packagecom.apache.hadoop.function;
importjava.io.IOException;
importjava.util.Iterator;
importjava.util.S..
分类：
其他好文 时间：
2016-06-23 22:26:57
阅读次数：
137
转载▼ 转载▼ Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是： goalSize = totalSize / mapred.map.tasks minSize = max {mapred.min.split.size, minSplitSize} spl ...
分类：
其他好文 时间：
2016-06-23 12:35:59
阅读次数：
112
7 YARN安装过程 在安装HDFS的基础上安装YARN 1）修改mapred-site.xml文件，配置MapReduce 2）修改yarn-env.sh 修改JAVA_HOME值（export JAVA_HOME=/usr/local/java/jdk1.7.0_79） 3）修改yarn-sit ...
分类：
其他好文 时间：
2016-06-06 10:20:30
阅读次数：
162
配置core-site.xml 配置hdfs-site.xml 配置mapred-site.xml 配置yarn-site.xml 纷发至其他节点 修改RM 2 ..N 上面的节点信息 格式化ZK hdfs zkfc -formatZK 初始化journalnode : hdfs namenode ...
分类：
其他好文 时间：
2016-05-31 14:01:21
阅读次数：
244
packagecom.javaMapReduce;
importjava.io.IOException;
importorg.apache.hadoop.io.IntWritable;
importorg.apache.hadoop.io.LongWritable;
importorg.apache.hadoop.io.Text;
importorg.apache.hadoop.mapred.JobConf;
importorg.apache.hadoop.mapred.Mapper;
importorg..
分类：
其他好文 时间：
2016-05-25 11:33:48
阅读次数：
120
