mapred.min.split.size意思和字面上的一样，折腾了半天，发现发起任务的机子上，而非只是主机需要配置该项。。mapred.map.tasksjob的总map任务数，本来以为总文件数/实际的SplitSize就可以了，不太明白还要这项有什么用。。不过下面这个例子应该可以说明些问题：我所在公司所使..
分类：
其他好文 时间：
2014-09-17 18:53:33
阅读次数：
225
hive在生产环境中由于用户数量和身份的不同，难免会对用户按组进行划分，根据不同组的优先级划分hadoop资源，hadoop fairscheduler支持按用户组划分资源池，每个group对应一个组pool，然后根据pool优先级划分mapreduce资源，在map-site.xml中添加以下配置即可实现按组划分:
mapred.jobtracker.taskScheduler...
分类：
其他好文 时间：
2014-09-16 17:29:10
阅读次数：
286
2014-09-09 17:25:44,040 WARN mapred.LocalJobRunner - job_local_0001org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid lo....
分类：
其他好文 时间：
2014-09-09 19:56:49
阅读次数：
541
Client 端：
//最终通过ApplicationClientProtocol协议提交到RM端的ClientRMService内
package org.apache.hadoop.mapred;
jobclient包内
YarnRunner
public JobStatus submitJob(JobID jobId, String jobSubmitDir, Credentials...
分类：
其他好文 时间：
2014-09-09 12:48:58
阅读次数：
245
hadoop分散磁盘I/O配置dfs.data.dir，将其值配置为多块磁盘<key>dfs.data.dir</key><value>/data/data1,/data/data2,/data/data3</value>####假设多块磁盘被挂在以上目录中2.mapreduce中间数据临时文件分散写老的配置参数为，mapred.local.dir，新配置..
分类：
其他好文 时间：
2014-09-05 16:25:12
阅读次数：
163
一、几个可能会用到的属性值 1、mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution 这两个属性可以决定Map任务和Reduce任务是否开启推测式执行策略。推测式执行策略在Hadoop中用.....
分类：
其他好文 时间：
2014-09-03 19:48:07
阅读次数：
358
//这个是在原来的基础上修改以后得到的，将其中的分词的依据给换掉了，并且进行词频统计的时候会自动的忽略大小写
packageorg.apache.hadoop.mapred;
importjava.io.IOException;
importjava.util.ArrayList;
importjava.util.Iterator;
importjava.util.List;...
分类：
其他好文 时间：
2014-09-01 10:47:23
阅读次数：
334
遇到的问题描述：在hadoop上面执行程序，程序运行之后能够正常执行。一切似乎都是正常的，然而过了一段时间之后程序便开始阻塞直到程序超时退出（如下）。14/08/19 21:17:51 INFO mapred.JobClient: map 99% reduce 71%14/08/19 21:17:5...
分类：
其他好文 时间：
2014-08-26 15:02:56
阅读次数：
357
在运行hadoop程序时经常遇到异常java.io.IOException: Task process exit with nonzero status of 1。网上很多博文都说是磁盘不够的问题。 其实我很多时候遇到这个问题是因为程序抛出org.apache.hadoop.mapred.Ch...
分类：
其他好文 时间：
2014-08-26 13:20:56
阅读次数：
191
数据表大概150M，但是只有几个字段，导致行数特别多，当使用正则表达式去匹配时执行较慢。解决思路：增大map数; //设置reduce数为150，将原表分成150份，map数无法直接设置，因为和输入文件数和文件大小等几个参数决定set mapred.reduce.tasks = 150;//在map...
分类：
其他好文 时间：
2014-08-24 14:11:33
阅读次数：
390
