1、下载hadoop，解压 ?这个可以到http://hadoop.apache.org/里面找到 2、配置.bashrc文件 3、创建hadoop数据保存 ?我创建在了hadoop文件里，名字叫做data 4、配置hadoop-env.sh文件 5、配置mapred-site.xml文件...
分类：
系统相关 时间：
2015-05-09 13:35:01
阅读次数：
147
mapred.tasktracker.map.tasks.maximum官方解释：The maximum number of map tasks that will be runsimultaneously by a task tracker.我的理解：一个tasktracker最多可以同时运行的m...
分类：
其他好文 时间：
2015-05-06 12:25:22
阅读次数：
120
前提：有一个hadoop集群，并且拷贝core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml到classpath下,可以使src/main/resources1.获取一个GetNewApplicationRequest，实例是protobu...
分类：
移动开发 时间：
2015-04-29 16:28:53
阅读次数：
197
1、为map中间输出启用压缩。 ? ? ? 一般对于中间输出压缩采用低压缩比，高压缩解压缩速度的压缩算法，如LZO,Snappy? ? ? set hive.exec.compress.intermediate=true; ? ? set mapred.map.output.compress...
分类：
其他好文 时间：
2015-04-27 08:20:51
阅读次数：
192
Hadoop调优mapred.tasktracker.map.tasks.maximum官方解释：The maximum number of map tasks that will be runsimultaneously by a task tracker.我的理解：一个tasktracker最多...
分类：
其他好文 时间：
2015-04-21 17:50:58
阅读次数：
122
配置好hive后，输入hive命令启动时会出现许多INFO和WARN信息。如下：
15/04/21 11:31:45 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive
15/04/21 11:31:45 INFO Configuration.deprecation: mapred.m...
分类：
其他好文 时间：
2015-04-21 14:45:42
阅读次数：
540
解决方案：/etc/sysconfig/network/etc/hosts$hostname这三处的主机名都要一样。具体参考：http://blog.itpub.net/28254374/viewspace-1059607/
分类：
其他好文 时间：
2015-04-15 23:17:20
阅读次数：
125
#hadoop version 查看版本号1 、获取默认配置hadoop2系列配置文件一共包括6个，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves。除了hdfs-site.xml文件在...
分类：
其他好文 时间：
2015-03-31 17:28:40
阅读次数：
145
1、dfs.hosts 记录即将作为datanode加入集群的机器列表 2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表 3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表 4、master 记录运行辅...
分类：
其他好文 时间：
2015-03-21 17:17:02
阅读次数：
247
我们的目的是搭建一个可以在任何地方使用的hadoop开发环境。创建maven项目创建一个maven项目，什么类型的项目随便引入hadoop配置文件copy hadoop的配置文件到src/main/resources文件中，只考有用的就行，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml等。设置环境变量hadoop的配置文件夹中的配置...
分类：
系统相关 时间：
2015-03-19 18:23:53
阅读次数：
200
