码迷,mamicode.com
首页 >  
搜索关键字:job    ( 4794个结果
假期规划调研1
关于c++能做什么的解惑https://www.ptt.cc/bbs/Soft_Job/M.1352253161.A.D09.htmlhttp://subject.csdn.net/cplusplus/http://www.zhihu.com/question/20181597http://bill...
分类:其他好文   时间:2015-01-01 00:06:31    阅读次数:225
【转】reduce端缓存数据过多出现FGC,导致reduce生成的数据无法写到hdfs
转自 http://blog.csdn.net/bigdatahappy/article/details/41726389转这个目的,是因为该贴子中调优思路不错,值得学习 搜索推荐有一个job,1000多个map,200个reduce,运行到最后只剩一个reduce(10.39.6.130上)的时....
分类:其他好文   时间:2014-12-31 19:46:46    阅读次数:392
Hadoop二次排序的其他写法
Hadoop二次排序的其他写法 二次排序原理 在map阶段,使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites,同时InputFormat提供一个RecordReder的实现。 本例子中使用的是TextInputFormat,他提供的RecordReader会将文本的字节偏移量作为key,这一行的文本作为value。 这...
分类:编程语言   时间:2014-12-31 18:34:28    阅读次数:316
play freamwork 定时任务
package job;import play.jobs.Every;import play.jobs.Job;import play.jobs.OnApplicationStart;import com.wanhua.weixin.model.AccessToken;/*** * @author ...
分类:其他好文   时间:2014-12-31 17:58:14    阅读次数:411
eclipse下提交job时报错mapred.JobClient: No job jar file set. User classes may not be found.
错误信息:11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.11/1...
分类:编程语言   时间:2014-12-30 16:40:00    阅读次数:167
hadoop join问题1
hadoop join问题1  Join讲解1: 获取员工所在部门信息,输出格式要求:员工编号,员工姓名,部门名称,部门编号 1、原始数据 员工数据 empno ename job        mgr hiredate sal comm deptno loc 7499 allen salesman 7698 1981-02-20 1600 300 30 ...
分类:其他好文   时间:2014-12-29 21:35:16    阅读次数:213
JavaScript中创建对象的几种模式
看了js高级程序设计的第六章,很多知识。关于创建对象的几种模式,这里记录一下。1.工厂模式 1 function createPerson(name, age, job) { 2 var o = new Object(); 3 o.name = name; 4 o.age =...
分类:编程语言   时间:2014-12-27 01:31:47    阅读次数:183
spring+quartz,动态注册job
Spring+Quartz的整合有很多例子,此处不提整合; 若配置固定的job,常常使用MethodInvokingJobDetailFactoryBean,也不错, 可问题的根源在于 这个类没实现 Serializable接口, 导致了将job信息存入数据库中时,它不工作了, 这是诱因之一. 以下是文章的主要内容. 前提及目标 1.job信息存入数据库 2.可给项目添加...
分类:编程语言   时间:2014-12-26 18:44:42    阅读次数:298
expdp\impdp及exp\imp
数据泵文件expdp介绍EXPDP命令行选项1. ATTACH该选项用于在客户会话与已存在导出作用之间建立关联.语法如下ATTACH=[schema_name.]job_nameSchema_name用于指定方案名,job_name用于指定导出作业名.注意,如果使用ATTACH选项,在命令行除了连接...
分类:其他好文   时间:2014-12-25 18:07:04    阅读次数:126
使用Hadoop的MapReduce与HDFS处理数据
hadoop是一个分布式的基础架构,利用分布式实现高效的计算与储存,最核心的设计在于HDFS与MapReduce,HDFS提供了大量数据的存储,mapReduce提供了大量数据计算的实现,通过Java项目实现hadoop job处理海量数据解决复杂的需求。一、基本环境及相关软件的配置 具体配置说明:...
分类:其他好文   时间:2014-12-25 17:59:55    阅读次数:104
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!