一、修改Hadoop配置文件1.修改core-site.xml文件添加如下属性，让MapReduce作业可以使用Tachyon文件系统作为输入和输出<property>
<name>fs.tachyon.impl</name>
<value>tachyon.hadoop.TFS</value>
</property>2.配置hadoop-env.sh在hado..
分类：
其他好文 时间：
2014-10-15 16:36:41
阅读次数：
175
hadoop-2.2.0配置eclipse插件(windows和linux平台)...
namevalueDescriptionhadoop.job.history.locationjob历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。hadoop.job.history.user.location用户历史文件存放位置io.sort.fac...
分类：
其他好文 时间：
2014-09-24 14:06:46
阅读次数：
239
记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分以hadoop 1.x配置为例core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和...
分类：
其他好文 时间：
2014-09-24 13:46:26
阅读次数：
257
namevalueDescriptiondfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非...
分类：
其他好文 时间：
2014-09-24 13:11:26
阅读次数：
175
注：关于如何将hadoop源码导入Eclipse详见http://pan.baidu.com/s/1eQCcdcm一、Hadoop配置软件（我的电脑是Windows7旗舰--64bit）1. VMWare专用CentOS镜像(Centos是Linux操作系统的一种)2. VMware-worksta...
分类：
系统相关 时间：
2014-09-17 18:28:42
阅读次数：
451
hadoop安装 关闭防火墙 修改ip 修改hostname 设置ssh自动登录 安装jdk 安装hadoop1.将hadoop-1.1.2.tar.gz上传到/usr/local/,解压并改名为hadoop 2.配置hadoop环境变量,编辑/etc/profile文件，在该文件底部...
分类：
其他好文 时间：
2014-09-04 18:54:19
阅读次数：
217
初次在VM上配置Hadoop，开了三台虚拟机，一个作namenode,jobtracker另外两台机子作datanode,tasktracker配置好后，启动集群通过http://localhost:50700查看cluster状况Hadoop配置datanode无法连接到master发现没有dat...
分类：
其他好文 时间：
2014-08-29 15:54:18
阅读次数：
201
部分内容参考：http://www.linuxqq.net/archives/964.html
Hadoop有三个重要的配置文件：core-site.xml,hdfs-site.xml,mapred-site.xml，但这三个文件默认情况下均为空，其默认值保存在core-default.xml,hdfs-default.xml,mapred-default.xml中。这三个默...
分类：
其他好文 时间：
2014-08-19 12:52:44
阅读次数：
205
Hadoop的各个组件是通过XML配置的。
2.0以后，配置文件的位置发生了小变化，我安装的Hadoop 2.4.1，配置文件的位置在$HADOOP_INSTALL/etc/hadoop/
在初期运行MapReduce DEMO时，我们只需关注三个基本配置就好：
core-site.xml
hdfs-site.xml
yarn-site.xml(2.0后的版本，MapReduce运行在y...
分类：
其他好文 时间：
2014-08-18 14:33:26
阅读次数：
272
